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PREDGOVOR 


nih sistema, koji svoje uredjenje baziraju na gensriranju, 
prikupljanju, obradi, prijenosu i izmjenama informacija 
različitih oblika, ne može se više temeljiti samo na nji- 
hovom tehničkom upoznavanju, već je potrebno primjeniti 
ma, te njihovo medjusobno usporedjivanje i vrednovanje, 
bez obzira na fizikalnu strukturu. Tu mogućnost pruža nam 
Teorija informacije, koja svojim kvantitativnim pristu - 
pom informaciji daje novi kvalitet na kojem se baziraju 
optimalne strukture sistema, 

Ova skripta napisana su sa namjerom, da se pri- 
kažu osnovni pojmovi Teorije informacije, karakteristike 
signala - nosioca informacija u materijalnim sistemima i 
šumova neizbježnih pratioca signala, Želja nam je bila, da 
še u svojim izlaganjima što više približimo konkretnim si- 






tuacijama, naročito u iznošenju praktičkih primjera, Smat- 
ramo, da ovdje nije dovoljno pokazana mogućnost primjene. 
To će biti učinjeno u drugom dijelu, koji je već u prip- 
remi, 

Skripta su namjenjena prvenstveno studentima III. 
godine smjera Elektronika, Blektrotehničkog fakulteta Sva- 
učilišta u Zagrebu, kao pomagalo u savladavanju dijela gra- 
diva, koje sea predaje u okviru predmeta Teorija informaci- 
je. Za uspješno praćenje materije pretpostavlja se pozna- 
vanje osnovnih pojmova iz vjerojatnosti i statistike, Da se 


ta materija nadje čitaocima pri ruci, u Prilogu su obradje- 
ni osnovni pojmovi na nizu elementarnih primjera, bliskih 
problematici komunikacija. 

Nadamo se, da će ovaj prikaz korisno poslužiti 
čitaocima kao osnova za upotpunjavanje saznanja o struktu- 
ri sistema, 

Autori 
Zagreb, rujan, 1969. 


UVOD 


SADRŽAJ 


1, OSNOVNI ZADACI TEORIJE INFORMACIJE 
2. DISKRETNI KOMUNIKACIJSKI SISTEMI 


2.1. 
2,2, 
2,3. 
2,4. 


2,5. 
2,6, 


5.1. 
3.2, 
543. 


3.4. 


3.5. 


Sadržaj informacije. Osnovna svojstva 
informacije 

Fntropija, Svojstva entropije 
Optimalno(kodiranje informacija) 
Kapacitet kanala bez memorije uz prisus- 
tvo smetnji, Sigurnosno kodiranje ) 











Statistička svojstva jezika 
Optimalni kod za jezik 


KARAKTERISTIKE SIGNALA I ŠUMOVA 


Općenito 

Osnovni tipovi determiniranih signala 

Periodički signali 

3.3.1. Razdioba snage u spektru peri- 
odičkog signala 

3.3.2. Praktička širina spektra. Izo- 
bličenja signala uslijed ogra - 
ničenog frekvencijskog pojasa 
propuštanja sistema 

Neperiodički signali 

5.4.1. Energetski odnosi u spektru nepe- 
riodičkog signala 

3.4.2. Frekvencijski pojas propuštanja 
sistema i izobličenje neperio - 
dičkog signala 

Karakteristike slučajnih signala i šu- 

mova > 4 <a 

3.5.1. Statističke srednje vrijednosti i 
korelacione funkcije 

3.5.2. Srednje vrijednosti po vremenu 

3.5.3. Ergodički procesi 


ll 


11 
35 
52 


Ka 
103 
111 


119 


119 
l21 
125 


1352 


134 
144 


148 


150 
162 
164. 


179 
174 


3.5.4. Spektralna gustoća 
3.6. Mogućnosti prikaza signala 
3.6.1. Fizikalni i matematički prikazi 
3.6.2. Kontinuirani prikaz signala 
3.6.3. Diskretno-analogni prikaz signala 
3.6.4, Diskretni prikaz signala 
3.6.5. Teorem uzoraka (Teorem Kosteljni- 
kova) 
KONTINUIRANI KOMUNIKACIJSKI SISTEMI 
4.1. Sadržaj informacije i entropija 
4.2. Svojstva kontinuiranog kanala uz prisus- 
tvo aditivnog normalnog šuma, Kapacitet 
kanala 
4.5. Kapacitet kanala sa ograničenim frekvencij- 
skim spektrom 
PRILOZI 
I. PRIMJENA OSNOVNIH ZAKONA STATISTIKE I 
VJEROJATNOSTI U KOMUNIKACIJANA 
I.l1. Vjerojatnost 
1.2. Slučajne veličine 
1.2.1. Diskretne slučajne veličine 
1.2.2. Kontinuirane slučajne veličine 
II. VRIJEDNOSTI FUNKCIJE GUSTOĆE VJEROJATNOSTI 
NOEMALNE RAZDIOBE 
III. VRIJEDNOSTI FUNKCIJE VJEROJATNOSTI NORFHAL= 
NE RAZDIOBE 
IV. VRIJEDNOSTI DUALNIH LOGARITAMA 
V. VRIJEDNOSTI FUNKCIJE -p 1d p 


VII. VRIJEDNOSTI PUNKCIJE Si x 


VIII. GRAF FUNKCIJE e7* 
IK. GRAF FUNKCIJE Si x 


LITERATURA 


176 
181 
181 
182 
183 
188 


191 
i? 
197 


208 


215 
227 


227 
227 
272 
273 
288 


306 


307 
308 
311 


312 
312 


313 
313 
313 


POPIS VAŽNIJIH SIMBOLA 


sI 
1 


kompleksna amplituda 


modul 


i> 
i 


.- širina frekvencijskog spektra sistema ili signala 
- kapacitet kanala 


oo um 


- dinamika 

E() - operator matematičkog očekivanja 
F(j€% ) - spektralna karakteristika signala 
fg - granična frekvencija sistema 


f, - frekvencija prijenosa podataka 


T 
Hr - transinformacija 


H(X) - entropija 

H(Y/X) - uslovna entropija, entropija šuma, irelevantnost 
H(X/X) - ekvivokacija 

I(xj) - vlastiti sadržaj informacije 

I(x45Yj) - uzajamni sadržaj informacije 

I(X;/2y) - uslovni vlastiti sedržaj informacije 

I(X) - srednji vlastiti sadržaj informacije 

I(X;Y) - potpuni srednji uzajamni sadržaj informacije 
K(fti>.t2) - korelaciona funkcija 


Kxy(t1,t2) - uzajamna korelaciona funkcija 


R - koeficijent korelacije 
r - zalihost 
Talti.+to) - normirana korelaciona funkcija 


- i jamna korelaciona funkcija 
"xy(*1.t2) normirana uzaja 


Sl UJ ) - spektralna gustoća snage 


A + - interval kvantiziranja 
4 n 7 faza 


NE a vrijeme utitravanja 


UVOD . 


Potražimo 1i u nekom suvremenom leksikonu tumačenje 
Za "informaciju" nalazimo medju ostalim definicijama i dvije 
koje treba svakako spomenuti prije nego što pokušamo postavi= 
ti neke granice onog područja kojim se u nauci bavi relativno 
mlada teorija informacije. 

Prema prvoj definiciji informaciju u najopćenitijem 
smislu predstavljaju obavijesti, odnosno novosti koje nam prue 
žaju novine, radio, tolevizija, a isto tako i vijesti koje nam 
prenosi telegrafija i telefonija, t.j. sva suvremena sredstva 
za njihovo širenje 1 prijenos. Druga se definicija medjutim 
znatno razlikuje od gornje, već po tome što spominje informa = 
ciju u području nove znanosti, kibernetike, koja povszuje mnoe 
ga klasična područja nauke i kaže da je u njoj informacija kva- 
litativni faktor koji odredjuje poziciju nekog sistema i utje- 
caj koji taj sistem ima na neki drugi sistem. m 

Ovako definirane pojmove o informaciji u kvalitativ - 
nom smislu često prate i oni najnoviji zahtjavi o mjerljivosti 
informacije u kvantitativnom smislu, tako da već iz ovih saže= 
tih definicija vidimo da treba već u početku odlučiti kojim pu- 
tem valja krenuti, i m. 

Ako izuzmemo iz naših daljnjih razmatranja semantični 
sadržaj informacije, tj. ako izdvojimo značenje informacije ili 
informaciju o ishodu neke alteznative sa istom vjerojatnosti po- 
javljivanja u statističkom smislu, onda nam prsostaje golemo 
područje statističke teorije informacija diskretnih i kontinu = 
iranih slučajnih procesa i postupaka čijia tokom vladaju zakoni 
vjerojatnosti, 

Želimo li i dalje ograničiti opseg naših slijedećih 
razmatranja onda nam prijelaz od samih vijesti koje nalazimo na 
izvoru informacija, na njihovu fizikalnu reprezentaciju u obli= 
ku diskretnih ili kontinuiranih signala pruža mogućnost da te 
signale smatramo nosiocima informacija informacija, a time i mogućnost ap - 
straktne. matematičke KA informacija. 





mare 

Usrstimo li u spomenute slučajne procese i čovjeka 
kao izvor i odredište vijesti onda je neminovno potrebno 1 
tavku ovog uvoda u mora informacija. 

U posljednjih 20 godina, nakon što su Wiener i Sha» 
nnon 1948 g. postavili osnovne temelje Teorije informacije, 
ona je našla svoju veliku primjenu u svim granama nauke, 

Sve složeniji razvoj ljudskog društva uslovljava sve 
veći stupanj organiziranosti sistema, koji izvode odredjene 





kasno upravljanje sistemima provodi se izmjenom informacija 
različitih oblika izmedju niza izvora i odredišta. koji su uk - 














“U svojoj početnoj fazi razvoja, Teorije informacije 
kao nauka bila je namjenjena rješavanju telekomunikacijskih 
problema. Daljnjim svojim razvojem ona je postala teoretska o8- 


nova tehnike predaje informacije te "se u tom smislu granice 
njene pi: primjene ja u velikoj mjeri p proširuju. Opći razvoj elektro» 
tehničkih nauka dovodi naročito u posljednje vrijeme do speci= 
jalističkih diferencijacija uz istovremeno objedinjavanje nji= 
hovih osnova na bazi fundamentalnih postavki, i koncepcija.Raze 
voj kibernetike pokazuje da se teorija informacije kao jedan 
njen dio, može primjeniti u proučavanju sistema bilo kakove 
prirode, koji su sposobni da generiraju, primaju, pohranjuju i 
Preradjuju. informaciju te je primjenjuju za upravljanje i regu- 
laciju. poi iii 


= 











Teorija informacija kao naučna disciplina razvijala 

se u dva smjera: matematički, u kojem se iznose strogo teoret= 
ski rezultati, i primjenjeni, koji iskorištava osnovne postav= 
ke taorije Za rješavanje konkretnih tehničkih problema. Za nas 
e biti interesantan ovaj drugi smjer i to primjena u teleko = 
munikacijama, regulaciji i računskoj tehnici. 


Funkciju dostave informacije od izvora do odredišta, 
uz ispunjenje odgovarajućih uslova s obzirom na brzinu, vjere 


ga sspanjsnge gopovanna m 
nost i sigurnost ispunjava telekomunikacijska mreža, +. j. skup E 








nalima, i tehničkih uredjaja, koji omogučuju komutaciju kanala | 
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i upravljanje. 
Suvremena telekomunikacijska mreža predstavlja složen visoko 
organiziran sistem, sa velikim brojem raznih čvorova smješte - 
nih u nekom prostoru i povezanih mnogobrojnim kanalima, koji 
imaju različitu namjenu, tehničku realizaciju i kapacitet, Osim 
toga telekomunikacijska mreža mora imati mogućnost propuštanja 
informacija različitih oblika, što zahtjeva različite načine 
posluživanja i izmjene režima rada mreže, ogdovarajući na taj 
način na slučajne i determinirane promjene tokova informacije, 
svojstava kanala i.t.d, 8 tim u vezi primjena Teorije informa - 
cije u telekomunikacijama svodi se na rješevanje dvije vrste 
problema: 


1. Problemi povezani sa realizacijom prijenosnih ka = 
nala sa ulaznim i izlaznim uredjajima i sistemom kodiranja vi= 
jesti. Rješavanje tih problema u vezi je sa postavljenim kri = 
terijima vjernosti prijenosa, optimalnim iskorištenjem kapaci = 
teta kanala, a važan faktor je i ekonomičnost. 


2, Problem realizacije mreže koja povezuje uredjaje 
Za preradu i uskladištenje informacije i odgovarajuće uredjaje 
za distribuciju informacije i upravljanje mrežom. Kod toga mo= 
raju biti ispunjeni odredjeni uslovi za sigurnost, kvelitetu i 
Brzinu prijenosa informacija. - 


Općenitost fundamentalnih postavki Teorije informaci= 
je omogućuje njenu primjenu i u sutomatskoj regulaciji, Sve ve- 
ća potreba za tom primjenom javlja se zato, što ja struktura 
rTegulacionih sistema sve složenija. Još nedavno su rezerve u 
brzinama prerade informacije u regulacionim sistemima zbog jed 
nostavnih algoritama, bile velike. Kedjutim suvremeni regulaci= 
oni sistemi rade sa tako velikim tokovima informacije, da ih 
jedva stižu preraditi brzi računski strojevi. 

Svojstva regulacionih sistema u uz zadane uslove rađa 
takodjer se mogu procjeniti putem Teorije informacije, te se na 
takav način. može usporedjivati ! kako se odredjeni konkretni sis 
ten razlikuje | od optimalnog. Uz sve to dakako možemo dodati, da 




















principi optimalnih i sigurnosnih kodova mogu poslužiti kao os- 
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nova za rješenje niza problema optimizacije informacionog di- 
jela regulacionih sistema, 





Primjena Teorije informacije u računskoj tehnici je 
znatna, ne samo u toku konstrukcije računskih strojeva već i u 
fazi njihove eksploatacije. Računski stroj nije ništa drugo ne- 
go jedan komunikacijski sistem koji mora biti izgradjen prema 
optimalnim principima, 

Vrlo je zanimljivo i promatranje strojeva za vrijeme njihove 
eksploatacije, Često se misli da računski stroj generira nove 
informacije, medjutim to nije tako, Strojevi mogu samo prera - 
djivati informaciju: oni uzimaju "sirovi" materijal i daju fie= 
nalni produkt,no ukupan sadržaj informacije ne raste, vsć sa= 
mo uz idealne uslove može biti isti tokom procesa računanja. No, 
u realnim uslovima postoje gubici i konačni sadržaj informacija 
je menji od početnog. Ta problematika dovodi do traženja opti = 
malnih programa i jezika, kako bi gubici informacije bili mi= 
nimalni, 

I tako možemo zaključiti, da svojstva općenitog ko=- 
munikacijskog sistema koja ćemo proučavati, nalazs svoju širo= 
ku primjenu u raznim sistemima, bez obzira kakova je njihova 
namjena« 


1. OSNOVNI ZADACI TEORIJE INFORMACIJE 


Teorija informacija proučava kvantitativne zakonitos- 
ti, povezane sa predajom, prijemom, skladištenjem i preradom in- 
formacija najrazličitijih oblika. Pored toga što se ona primje - 
njuje u rješavanju teoretskih i praktičkih problema u teoriji 


telekomunikacija, nailazimo n j ku upotrebu kod prou - 
čavanja različitih procesa upravljanja, 


Ovdje ćemo se većim dijelom ograničiti na promatranje 
osnovnih problema prerade i prijenosa informacija za potrebe te- 
lekomunikacija, regulacije i računala na koje daje odgovor te- 
orija informacija. Radi toga ćemo odabrati općeniti model ko - 
munikacijskog sistema i ustanoviti tipične funkcije pojedinih 
elemenata u tom sistemu. 

Osnovni zadatak komunikacijskog sistema je efektivni 
prijenos raznih vijesti od jednog objekta ili učesnika do drugog. 
Efektivnost prijenosa razmatra se u smislu predaje što većeg broja 
istinitih podataka u zadanom vremenu, kroz komunikacijski sistem. 

Ovaj osnovni zadatak može se rješavati pomoću sistema 
koji su različiti po svom principu djelovanja i konstrukciji. 

Kao primjer uzimamo općenitu shemu jednokanalnog komunikacijskog 
Sistema prema slici 1.1. 

Prikazana shema može nam poslužiti da se pokažu tipične funkcije 
pojedinih elemenata i ustanove optimalni uslovi. 

Objasnimo značenje pojedinih elemenata. Izvor infor - 
macije je bilo kakav objekt ili operator koji generira informa- 
cije. Informacija o stanju nekog sistema ili bilo kakvom drugom 
dogadjaju može sadržati razne podatke i imati najrazličitije 
oblike (govor, muzika, tekst, brojevi, slike, komande i t.d.). 


== 
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Diskretne informacije predstavljene : su 1 nizovima. sastavlje - 
nim od konačnog broja elementarnih simbola, Potpuni skup ele- 
mentarnih simbola, od kojih se sastavljaju različite reali - 
zacije informacije, nazivamo alfabetom. 

Tipični primjer primjene diskretnih informacija je 
telegrafija. Kao elementarni simboli ovdje služe dva ili više 
različita elementarna impulsa, Pomoću njih prikazujemo znakove 
alfabeta, koji čine opet posebni diskretni skup. 


U slučaju telemetrije, kada se prenose rezultati mjee 


renja nekog parametra, koji može poprimiti diskretni niz broj= 
čanih vrijednosti, pod simbolima podrazumijevamo brojke. Kođ 
toga u dekadskom sistemu alfabet sadrži deset simbola, a u bi= 
narnom dva, : 


=? 


Kant inuizoge informacije predstavljaju se vremenskim funkcija- 
ma, koje poprimaju neprekinuti skup vrijednosti. Kao primjer na- 
vedimo prijenos govora, muzike, televizija i telemetrija (kada 
je potrebno prenositi. rezultate mjerenja parametra čija se vri - 
jednost mijenja kontinuirano). Pata ijo 
Napomenimo ovdje, da s odredjenom pogreškom možemo 
kontinuirane informacije pretvoriti u diskretne, nae primjer po- 
noću kvantiziranja. goa štaris isla primjerom za to može nam po- 





 Koder r informacije ima funkciju da prikaže temanie 

je u nekom. od standardnih oblika, na primjer, u obliku slijeda 
simbola alfabeta koji sadrži konačni broj elemenata. Pretposta - 
vimo da je informacija kodirana tako da na izlazu kodera infor = 
macije imamo odgovarajući slijed binarnih simbola 0 i 1. Prirod- 
no je tražiti, da takovo kodiranje bude ekonomično, t.j. da se 
na svaku informaciju, koju je potrebno kodirati, potroši u pros= 
jeku što manje binarnih simbola, Kodar er signala služi za trans- 
formaciju kodirane informacije u s signai, | koji je prilagodjen: za 
predaju po prijenosnom sistemu. 

Prijenosni sistem predstavlja medij po kojem se pre - 
nose signali od izvora d do točke prijema. Na primjer aa je“a 


"xa svom putu kroz prijenosni sistem signali su podlož- 
ni utjecaju najrazličitijih vrsta smetnji. Da bi se mogao uzeti 
u račun i njihov utjecaj, čitavom sistemu dodan je i izvor smet- 
nji. 

Zbog djelovanja smetnji signal na izlazu prijenosnog 
Sistema ne može se jednoznačno podudarati sa signalom na ulazu, 
te se radi toga može na bazi primljenog signala samo pretposta- 


viti o odredjenim vjerojatnostima predaje mogućih signala. Za - 


datak kodera signala je taj, da se ostvari takova transformacija 





kodirane informacije u signal, koja će dati minimalnu pogrešku 


kod odredjivanja pravilne informacije na izlazu prijenosnog sis- 
tema. Pokazat će se na koji se način može pogreška učiniti mini- 
malnom., 








GB 


funkcija dekodera. signala je, da na t: na temelju pa - 

ljenog signala odredi kodiranu informaciju. 

ši Dekoder “nformacije pretvara kodiranu informaciju u 
željeni oblik koji ne mora biti uvijek jednak onom na izvoru in- 
formacije, Glavno je to, da ja prijemnik u mogućnosti da na 
najbolji način nakon primljene informacije odluči kakva ja in- 
formacija bila predana, 

Da bi se mogli usporediti različiti komunikacijski 
sistemi po njihovoj efikasnosti nužno je ustanoviti univerzalnu 2, 
mjeru, koja kvantitativno omogućuje ocjenivanje kako volumena 
Predavanih podataka, tako i sposobnost sistema. da te podatke 
prenosi, U Teoriji informacije takva univerzalna kvantitativna 
karakteristika, koja je nezavisna o konkretnoj fizikalnoj pri= 
rodi vijesti, odredjuje se preko meos: informacije, koju 
posjeduje jedan simbol u odnosu na drugi. 

Važnost uvodjenja pojma sadržaja informacije može se 
iznjeti u dva osnovna teorema o kojima će se detaljnije kasnije. 
govoriti. 

Prvi od njih odnosi se na operacije koje ispunjava koder infor- 
macije. U grubim crtama njegov je smisao: broj binarnih zname- 
naka koji je u prosjeku potreban da se predstavi bilo kakva. vi- 
jest, jednak je sadržaju informacije koji ta vijest posjeduje. 
Drugi fundamentalni teorem odnosi se na funkcije kodera i de - 
kodera signala. Njegov sadržaj je u slijedećem: pod odredje - 
nim uslovima moguće je kodirati i dekodirati signale tako, da 
vjerojatnost pogrešnog prijema predane informacije bude po vo- 
lji mala, 




















Na tako postavljenim fundamentima možemo razmatrati 
prijsnos informacija, ustanovivši osnovna faktore koji odredju- 
ju realizaciju optimalnih komunikacijskih sistema: 


1. Struktura mreže u kojoj treba prenositi signale 
kao nosioce informacija. 


= 9 a 


Važnost ovog faktora sastoji se u tome što su 
Zahtjevi, koje postavljamo na pojedine kanale, ko- 
ji se primjerice automatskom komutacijom svakih 
nekoliko minuta uklapaju u dio nekog novog lanca 


'u nizu kanala, potpuno različiti od zahtjeva ko- 


je postavljamo na kanal stalno spajan izmedju dvi- 
je fiksne tačke. “ 


Karakteristika vijesti koje treba prenijeti. 


Vijest je u ovom faktoru kao i ostalim poglav - 
ljima definirana kao originalni izgovoreni akus - 
tički val, ili scena kako je vidimo, kao i poda- 
tak kako ga daje stroj na izlazu nekog uredjaja 

za obradu informacija. Pri proučavanju ovog fak- 
tora valja poznavati strukturu vijesti i reakciju 
korisnika te vijesti na njeno izobličenje i medju- 
sobne utjecaje raznih vijesti, koje se neminovno 
superponiraju za vrijeme prijenosa, 


Karakteristika signala za prijenos informacija, 


Signali u koje se pretvaraju vijesti imaju 1 po 
obliku i po osjetljivosti na medjusobne utjecaje 

i izobličenja različiti karakter od same origi - 
nalne vijesti. Najveći broj problema kod prijenosa 
odnosi se na prilagodjenje karakteristike signala 
na moguću fizikalnu realizaciju sistema u cilju 
postizanja željenog kvaliteta. 


Tehnički uvjeti kojima moraju zadovoljiti kom- 
ponente od kojih se grade sistemi prijenosa, 


Ti uvjeti koje valja postići, izraženi u snazi, 
kapacitetu, šumu, širini frekvencijskog spektra, 
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stabilitetu i t,d., ograničeni su kako fizikal- 
nim tako i praktičkim okolnostima, Zbog toga va- 
lja .zmedju tih uvjeta i komponenata vršiti po - 
gadjanje koje ovisi o sposobnosti odredjivanja 
najpovoljnije reakcije nskog specifičnog postup- 


ka pri obradi informacije prema samom signalu ode 
nosno vijesti. Tako će nelinearnost nekog pojača- 


la u amplitudno moduliranom sistemu ili nepotpue= 
no izjednačenje u frekvencijski moduliranom re - 
lejskom pojačalu imati potpuno različiti utje- 
caj na signale, 


Na kraju valja posebno istaći da je projektiranje 
nekog novog sistema za prijenos i obradu informacije ograniče= 
no činjenicom da ono mora biti u skladu sa postojećim planom 
komunikacija, jer su u te postojeće veze uložena ogromna fi = 
nancijska sredstva i da postoje i raniji zahtjevi obzirom na 
prijenos informacije za signalizaciju, kao i svih oblika vi - 


jesti, kao što gu: telefonske, telegrafske sa uskim frekvencije 


skim spektrom podataka, zatim vijesti širokopojasnih spektara 
suvremenih brzih prijenosa podataka, telefotografije, televi= 
zije 1 t.d. Osim toga valja znati da se novi sistemi moraju 
uklopiti u postojeće sisteme tako da svi zajedno djeluju u 
tandemu t.j. spregnutih tako da djeluju jedan iza drugoga u 
jednom nizu koji danas obuhvaća ne samo kontinente, već cijelu 
zemaljsku kuglu. 


2, DISKRETNI KOMUNIKACIJSKI SISTEMI 


+ 


2.1. Sadržaj informacije, Osnovna svojstva informacije. 


Intuitivno možemo zaključiti, da primamo informa= 
ciju, ako saznamo za dogadjaj, čiji nastup nije bio unapri- 
jed odredjen. Poznato ja (vidi prilog), da se odredjenost 
nastupa nekog dogadjaja može mjeriti njegovom vjerojatnošću. 
Prema tome je razumljivo, da što je nastup dogadjaja više 
vjerojatan, to ćemo manje informacije primiti nakon što se on 
realno zbude. Nakon što smo tako kvalitativno okarakterizžzi - 
rali informaciju odredimo dalje i kvantitativne odnose, 

Označimo skup mogućih različitih elementarnih sim- 
bola alfabeta na ulazu nekog bloka komunikacijskog sistema 
(prema sl. 1.1.) sa xi, i=1,2... 1, a skup izlaznih ele- 
mentarnih simbola sa yj, j=1,2... m( slika 2.1.). 






p(x,), x 9 Yr, PO) 
P(x;), Xi XY ME) Py) 
PX), %,, 9 YO, 


542.4. Ulazni i izlazni olrabet 
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Na primjer, pod simbolima Xi možemo podrazumjevati 
simbole ("slova") alfabeta izvora informacija, a pod Yj sim- 
bole kodirane infornacije (ulaz i izlaz kodera informacije 
na sl. 1.1.), zatim da xy budu simboli kodirane informacije, 
a yj signali na izlazu kodera signala, ili x1 - signali na 
ulazu prijenosnog sistema, ayj- signali na izlazu prijenos= 
nog sistema 1 t.đ. 

Promatramo 1i proces prijenosa informacija kroz 
odijeljene blokove sistema, tađa je njegova suština u naj - 
jednostavnijem slučaju u tome, da se od n simbola na ulazu 
bloka izabire neki simbol xy, za koji se na izlazu primjeću= 
je simbol yj. Na bazi primljenog simbola yj potrebno je od= 
lučiti, koji je simbol xiy predan na ulazu, 

Veći dio informacija kojim se mi koristimo izraža- 
va se posredstvom nekog "jezika", u kojem vladaju odredjene 
statističke zakonitosti, Ovdje ćemo razmatrati jednostavniji 
slučaj, gdje se informacije predstavljaju pomoću n simbola Xi, 
čije su relativne frekvencije pojavljivanja medjusobno ne - 
zavisne i u potpunosti se odredjuju sa apriornim vjerojat - 
nostima p(Xi). Sasvim je razumljivo da je skup svih simbola 
potpun iz čega proizlazi: 


n 


LL P( ži) =1 


i=1 


Budući da ćemo promatrati realne sisteme, sastav= 
ljene od realnih blokova, t0 ćemo morati uzeti u obzir dje- 
lovanje smetnji i slučajnih izobličenja. Radi toga neće sim= 
boli xi 1 Yj biti pridruženi jednoznačno t.j. jedan te is- 
ti simbol xy može preći u različite simbole yji obrnuto yj 
može biti rezultat različitih predanih simbola Xi (81. 2.1.). 
Prema tome možemo govoriti o vjerojatnostima istovremene po= 
jave parova ( ši >) 9) ) t.j. o Združenim vjerojatnostima 
Kx=> Yj ) pojave simbola yj na izlazu, i simbola xy na 
ulazu, Prema teoremu o množenju vjerojatnosti može se napisa- 
tis 
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P(Xi >9j ) = PZA) +P(Yj /2g J=P(yj).P(Xy /Y4 ) (2.4.) 


ako je poznat fizikalni mehanizam transformacije 
simbola xy u simbol Yj» nogu se izračunati uslovnea vjerojat« 
nosti p(yj /Xi 3 da će se na izlazu promatranog bloka poja- 
viti simbol yj, ako je poznato da je na ulazu predan simbol 
Xi. Samim tim će se moći odrediti vjerojatnosti p(x4 Sj ) 
ako su apriorne vjerojatnosti p(Xi) poznate. Prema tome mo- 
žemo vjerojatnosti p(x4 , 13) smatrati zađanim. Za tako 
definirane skupove simbola vrijede relacije: 


a n 
P(zi)= ) P(Z4 99j ) $ PJ) ) P(za :9j) 
j=1 i=1 
n pi 
] P(xi) = ) Piyj) =1 (2.2.) 
i=1 j=l 


U nastavku ćemo probleme razmatrati općenito, te ge 
radi toga neće konkretizirati fizikalni smisao simbola xi 1 
Yj> nego ćemo naprosto govoriti o slučajnim dogadjajima xX4 
lyj. ; 

Odredimo nadalje mjeru sadržaja informacije, koji 
donogi sa sobom pojava dogadjaja yj u odnosu na pojavu do - 
gadjaja Xi. ' 

i Sa stanovišta subjekta koji promatra dogadjaje I 
(promatrač na izlazu bloka), pojava konkretnog ishoda yj 
Svodi se na to, da se prvobitna nesigurnost u odnosu na po- 
javu dogadjaja Xi» koji je karakteriziran sa apriornom vje- 
rojstnosti p(Xi), zamjenjuje sa nesigurnošću koja ostaje 
fakon pojave Yj. Ova preostala nesigurnost u potpunosti je 
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karakterizirana sa aposteriornom vjerojatnosti p(xi / Yj ). 
Drugim riječima, pojava dogadjaja yj mijenja vjerojatnost 
pojave dogadjaja x: iz apriorne p(xi) u aposteriornu 

pi / Yj ). Aposteriornu vjerojatnost možemo izraziti ko=- 
risteći relacije 2.1. 1 2.2. kao: 


P (Xi,9j) P (Xxi;Xj) 
P(yy) A via; "i ) 
i=1 


Iz iznesenog možemo zaključiti da postoji fizi - 
kalna osnova za tvrdnju, da je sadržaj informacije koji se 
odnosi na dogadjaj Xi, a koji donosi sa sobom pojava doga- 
djaja yj, funkcija samo vjerojatnosti P(xi) ip(xi /yj )- 

Ne ulazeći u strogi matematički izvod formule za 
sadržaj informacije koji se temelji na nizu postulata, od - 
redit ćemo sadržaj informacije, iz kojeg postulati proiz = 
laze kao posljedice. 

Definirajmo uzajamni sadržaj informacije I(xi;yj) 
koji se odnosi na dogadjaj Xi, a koji je dobiven pojavom do- 
gadjaja yj, kao logaritam odnosa aposteriorne vjerojatnosti 
PC zi /y4 ) i apriorne vjerojatnosti p(xi) : 


K(zg 3 Yj) = log (2.4.) 


Izbor baze logaritama odredjuje jedinicu sadržaja 
informacije. Sa stanovišta tehnike najpriklednija je primje- 
na logaritama za bazu dva ( dualni logaritmi ) što je u vezi 
ša primjenom binarnih digitalnih sistema u prijenosu i pre- 
radi informacija. Prema tome će u tom sistemu jedinica za 


z ise 


sadržaj informacije I biti binarna jedinica ili kraće bit 

(binary digit). 

: Za matematička operacije s informacijama priklad- 
no je koristiti se prirodnim logaritmima (baze e). U tom 
slučaju govori se o prirodnim jedinicama informacije (nit). 
Primjeni li se baza 10, informacija se mjeri u dakadskim je- 
dinicama (dit), 

Sa principijelnog stanovišta izbor baze logaritama nema bit- 
nog značenja budući da se iz logaritama po jednoj bazi mo- 
že preći u logaritme po drugoj po poznatoj relaciji: 


log, k= log, a. loga k (2.5.) 


Prirodna jedinica je 1,443 puta veća od binarne, 
a dekadska 3,322 puta, U nastavku, ako ne bude posebno na - 
pomenuto, upotrsbljavat ćemo logaritme sa bazom 2, 

Pomnožimo li brojnik i nazivnik u izrazu (2.4,) sa 
P(yj) dobivamo: 


( / 3)». , 
DE jana POVEDe Pp) a, Pera) Ben 
P(Xx4).2(y4) P(zi)+P(y,) 


Vidimo da je sadržaj informacije simetrična funk- 
Cija u odnosu na dogadjaje x&KLi Yj t.j. 


I(X4 #9) = 1) 3521) (2.7.) 


Drugim riječima informacija koju donosi pojava do- 
gadjaja Yj » a koja govori o dogadjaju x, jednaka je infor- 


naciji koju donosi dogadjaj X4_, u odnosu na sj . 


zika 


Prema tome mjeru sadržaja informacije koju snio 
uveli prema izrazu (2.4.) možemo nazvati uzajennom infor = 
macijom dvaju slučsnjnih dogadjaja u odnosu jedan prema dru- 
gom. 

Promatramo li strukturu izraza (2.6.) vidimo đa 
veličina I(Xi ; yj) sa gledišta informacije, karakterizira 
statističku vezu (zavisnost) medju dogadjajima X4._ 1 Yje 
Ako su dogadjaji Xu 1 Yj medjusobno nezavisni tada je 


P(x4,94) = PX) P(Y g) 


iz čega slijedi I(x4 3 y4) = 0, odnosno ako ne postoji ni - 
kakova statistička veza izmedju dva dogadjaja X4 » Yj > ta- 
da pojava jednog neće donijeti nikakove nove informacije o 
drugom, pa je prirodno da uzajamna informacija bude jednaka 
nuli. i 

Iz izraza (2.4.) slijedi, da će uz fiksnu vjero-. 
jatnost p(xy) uzajamna informacija I(xj:;y4) imati maksimal- 
nu vrijednost, kada je p(x4 / yj) = l1t.j. kada yj sigurno 


i jednoznačno odredjuje Xj. Maksimalna vrijednost tada iznosi: 


I(x,) = -1d p(x,) (2,8.) 


Valičina I(x,) naziva se vlastitim sadržajem infor- 
macije dogadjaja Xi. Ona predstavlja sadržaj informacije 
koju donosi sam dogadjaj Xi ili bilo koji drugi koji je 
potpuno jednoznačno povezan sa njim. 

Sasvim je razumljivo da će neki dogadjaj svojom po- 
javom sam o sebi donjeti više informacije nego bilo koji 
drugi statistički povezan sa njim. Prema tome uzajamni sa = 
držaj informacije izmedju dva dogadjaja, nikada neće biti 
veći od vlastitog sadržaja informacije svakog od njih, t.j. 
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Napomenimo da je vlastiti sadržaj informacije 
uvijek pozitivna veličina jer je vjerojatnost 0&p(x,) <1l. 
Uzajanmni sadržaj informacije može imati kako pozitivnu ta=- 
ko i negativnu vrijednost. 

Pozitivnu vrijednost ima u slučaju, kada je vje- 
rojatnost zajedničkog nastupa para zavisnih dogadjajs X 
i yj P(X,,Y ), veća od produkta njihovih bezuvjetnih vje- 
rojatnosti P(Xx4).P(Yj) ( što ustvari predstavlja vjerojat- 
nost zajedničkog nastupa, kada bi dogadjaji bili nezavisni). 
U obrnutos slučaju uzajamni sadržaj informacije ime negativ- 
nu vrijednost, 

Pretpostavimo nadalje, da dogadjaj xy nije statis- 
tički povezan samo sa dogadjajem Sj već i sa nekim trećim 
Zk, k=l,2, ... 1. Kod čega su poznate vjerojatnosti 
JED ZLJRE Nas interesira koliki je sadržaj informacije 
koji donosi dogadjaj Yj,ra koji govori o dogadjaju X;, ako 
je prethodno poznat dogadjaj Zy. Sadržaj informacije 
Kxi5Yj/2x) koji odgovara ovakovoj situaciji nazivamo us- 
lovnim uzajamnim sadržajem informacije. 

Nakon pojave dogadjaja 5, (koji se dogadja prije 
yj) spoznaja, koja se odnosi na dogadjaj Xi mijenja se od 
apriorne vjerojatnosti p(x,) na uslovnu vjerojatnost 
P(X,/Z,). Nakon pojave dogadjaja Yj ta se vjerojatnost 
opet mijenja te se spoznaja o dogadjaju Xi odredjuje apos- 
teriornom vjerojatnosti P(Xi/YjeŽy) + Drugim riječima u 
razmatranoj situaciji (uz prethodnu pojavu dogadjaja Z,) 
početna nesigurnost u odnosu na nastup dogadjaja Xi kadi 
terizirana je sa uslovnom vjerojatnosti P(Xi/Zk), a ko - 
načna - sa aposteriornom vjerojatnosti P(xy/y 2x). Pre- 
ma tome dolazimo logičkim poopćenjem izraza (2.4.) do iz- 
raza za uslovni uzajamni sadržaj informacije: 


delo praa PZA a PER). a0) 
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Gornji izraz možemo i poopćiti za slučajeve kada 
je prethodno poznato više dogadjaja, a ne samo jedan, 

Uzajamni sadržaj informacije ima svojstvo adi - 
tivnosti. Promatraj.o sadržaj informacije I(Z43Y joy) +ko- 
ji se dobiva o dogadjaju Xi , nakon što se zajedno pojave 
dva dogadjaja yj iki: 


(x,/X4.2y) 
I(x,3Y4-Zg)= 1d ii oh ii (2.11.) 


P(x4) 


Primjenimo to na shemu prema slici 1,1. Dogadja- 
jem xy može se smatrati ulazna informacija za koder infor- 
macija, a Yj 12, su odgovarajući simboli, koji se dobi= 
vaju na izlazu tog kodera. U tom slučaju može se prema iz- 
razu (2.11.) odrediti uzajamni sadržaj informacije koji se 
odnosi na ulaznu informaciju x;, a koji dobivamo nakon po- 
jave dvaju izlaznih simbola Sj i 2x . 

Pomnožimo li brojnik i nazivnik na desnoj strani 
izraza (2.11.) sa P(X4/14) izlazi: 


(X,/9:):P(K,/T4:24) 
I(x43Y4:Zyg)=1d hea 3-0 i/Sj'“k 
P(x,)+P(X4/94) 


a PA 4 za PEUuTE 
P(x,) P(£4/5,) 


=I(x,5Y4) + 1(x432,/94) (2.12.) 


dg 


Objasnimo riječima izraz (2.12.): 
Sadržaj informacije koji donosi zajednička pojava dogadja= 
ja Yj i 2, » a koji se odnosi na dogadjaj Xi jednak je 
sumi sadržaja informacije odgadjaja Yj u odnosu na doga- 
djaj xy i dogadjaja 2, u odnosu na Xi uzpoznati Yj+ Taj 
se rezultat dobro poklapa sa našom intuitivnom predodšbom 
o informaciji. 

U fizikalnom smislu redosljed dogadjaja Yj i Šk 
nema važnosti, pa izraz (2.12.) možemo napisati i u obliku: 


I(KiG9jŽg) = 1x452) + Ix45V4/2,) (2.13.) 


Lijeve i desne strane izraza (2.12.) i (2.13.) 
možemo zbrojiti, pa dobijemo: 


1x459 2x) _ EGEZ + Kxis2p) + 


Rezultat je potpuno simetričan u odnosu na Yj i 
ZL. 

Ranije smo pokazali da uzajamni sadržaj informa- 
cije posjeduje svojstvo simetričnosti, Prema tome se može 
Wžajamni sadržaj informacije prema izrazu (2.12.) razmat= 
ide kao sadržaj informacije koji donosi pojava dogadjaja 
X, a odnosi se na dogadjaje "oO 1ič&%- 

M reino li poredak simbola u izrazu (2.13.) možemo na- 
Pisati: 


- 20 - 


I(yjŽgiža) = IGgšta) + 1(245%4/9)) (2.15.) 


Pomoću izraza (2.13.) i (2.15.) možemo izraziti 
uzajamni sadržaj informacije složenih dogadjaja, sa sadrža- 
jem informacije jednostavnih kao na pr.: 


I(xyuac ija ) = I(xux 194) + 


+ I(xjux Va /13) = I(xu94) + I(x,;V /54) + 


+ Iug iYy/Z4) + Ius /x4:9,) (2.16) 


Iz gornjeg izraza lako možemo ustanoviti, da za 
slučaj kada su dogadjaji x, Sj u odnosu na dogadjaje U >» 
"A statistički nezavisni t.j. kada vrijedi: 


P(Xi9j ue IJA )=P(x, »y4) plus DA ) (2.17.) 


na desnoj strani izraza (2.16.) drugi i treći 
šlan postaju jednaki nuli, a uslovni sadržaj informacije 
izražen posljednjim članom prelazi u bezuslovni sadržaj in- 
formacije. Prema tome će Za nezavisne dogadjaje iz izraza 
(2.16.) slijediti svojstvo aditivnosti uzajamnog sadržaja 


informacije: 


Uzjue STA) = Uxgsvj) + ITA, ) (2.18.) 


> 8- 


Za ilustraciju gornjeg izraza možemo razmatrati 
x, iu kao nezavisna simbole na ulazu dva odijeljena 
kanala, a Yj i va kao odgovarajuće simbole na izlazu spo- 
menutog kanala, : 





S1.21 a. Stotstička zvvianost lemola 


Verbalna interpretacija izraza (2.18.) tada glasi: sadržaj 

informacije primljen pojavom para izlaznih simbola, a koji 

Se odnosi na par ulaznih simbola, jednak je sumi sadržaja 

informacije, koji donosi svaki izlazni simbol o svom ulaz = 

nom paru, U slučaju medjusobne statističke zavisnosti kana- 

la sadržaj informacije bi se računao prema relaciji (2.16.). 

= Mesa analogiji sa uslovnim uzajamnim sadržajem infor- 
zo uvesti i uslovni vlastiti sadržaj informacije, 

Velovni vlastiti sadržaj informacije 1(x,/Z,) dogadjaja x 

ako je poznat dogadjaj Z, odredjuje GI) Ka, izrazu: ć 


I(x,/2x) = -1d p(x,/2y) | (2.19.) 


4 Uslovni vlastiti sadržaj informacije moža se in- 

Ma riteti na dva načina: ili kao maksimalni sadršaj in 
Ko) “ . s 
rmacije koji može donjeti pojava dogadjaja xy uz poznati 
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dogadjaj 2, , ili kao sadržaj informacije koji mora izrazi- 
ti neki drugi dogadjaj tako da jednoznačno odredi dogadjaj 
X, >) uz poznati 5x. 

Koristeći dalje izraze (2.4.)4(2.7.),(2.8.) i 
(2,19.) možemo izraziti uzajamni sadržaj informacije po = 
moću vlastitih sadržaja informacije: 


I(xy39))=1(x,)-I(x4/9;)=1(13)-1(93/x4) (2.20.) 


Ošito je, da je uzajamni sadržaj informacije, koji se od = 
nosi na dogadjaj x; , & dobiven je nastupom dogadjaja Yj> 
jednak razlici sadržaja informacije potrebnog da odredi do- 
gadjaj s: prije nago je poznat Yj i nakon što je on poznat. 
To isto ge može izraziti i pomoću dogadjaja Yj š 

Iz relacije (2.6.) takodjer možemo izvesti da je: 


1(xy394)=I(xy) + Kyj) - Kxpo9y) (2.21.) 


gdje je 12494) vlastiti sadržaj informacije zajedničkog 
nastupa para dogadjaja Xi-9j koji iznosi: 


I(xg994) = - 18 P(24>94) (2.22.) 


Ili ako izraz (2.21.) drugačije napišemo izlazi: 


I(x4,Yy)=E(z4) + Kyj) - MzgsYj) : (2,25.) 
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Izraz (2.23.) govori o toma, da je sadržaj infor- 
maecije složenog dogadjaja SD ( kada se dogodi i xi Yj ) 
jednak zbroju sadržaja informacije potrebnog za odredjiva=- 
nje dogadjaja xi i Yj minus uzajamni sadržaj informacije 
medju dogadjajima Xi i Yj . 


U konkretnim slučajevima komunikacijskih sistema 
sadržaj informacija koji sa odnosi samo na pojavu odijelje= 
nih znakova ne daje nam ono što bi mi željeli saznati o 
sistemu kao cjelini, Radi toga je potrebno uvesti veličine 
koje će govoriti o svojstvima sistema u cjelini, 

Ti podaci dobiju se uvodjenjem prosječnih (sred=- 
njih) sadržaja informacije za razne situacije, koji se od= 
nose na čitav skup dogadjaja. Govoreći sa stanovišta sta - 
tistike, možemo sadržaj informacije koji donese pojedini 
dogadjaj smatrati slučajnom veličinom, koja se pojavljuje & 
istom vjerojatnosti kao i sam dogadjaj. Prema tome će sa- 
držaj informacije i pripadajuće vjerojatnosti sačinjavati 
statistički skup, za koji se mogu računati prosjeci, 

Odredimo najprije srednji iznos uzajamnog sgadr= 
žaja informacije I(xgjgji koji se odnosi na čitav skup do- 
gadjaja X = [zg] i=l,2 .... A, a koji donosi pojava ne - 
kog dogadjaja Yj> 













EZ. rai 
eo 
maa? 


Tabela prikazuje pojedine vrijednosti sadržaja in- 
formacije Kau514) i odgovarajuće vjerojatnosti sa kojima se 
%m pojavljuje. Traženi prosječni iznos može se izraziti kao: 


| 


RE mai 
SED ECUDJECUTI 
P[1x,59,)] =P(,/9,)| Plxa/sg) | P(x9/9;) 


- 4 - 


KXiyj) = ) I(x4393) P(xy/94) = 


iz=1 
n 
P(z4/y4) 
= H P(z,/73) 1d BL) (2.24.) 
iz=1 


Veličina K1y,) karakterizira srednji sadržaj 
informacije koji donosi primljeni simbol Yj, a koji se od- 
nosi na skup svih predavanih simbola X. Pokažimo da ta ve- 
ličina ne može biti negativna t.j. 


Ki, iza (2,25.) 


kod čega znak jednakosti vrijedi kada su svi dogadjaji X 
statistički nezavisni u odnosu na dogadjaj Yje 

Radi dokaza relacije (2.25.) poslužimo se nejed- 
nadžbom (s1l.2.1.b) 


lnw <ćw-1 za m >0 (2.26.) 





St. 2.1 6 funkcije w-4 1 in w 
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Iz relacije (2.24.) dobivamo: 


n 

(x.) 

-I(K;yj)= ) P(x4/9,) 14 PE 
ia P(x,/94) 


x 
= , P(x,/y4) in ------š- de = 


n 
£ ) P(24/5,) ld e|-------2 -1 = 
i=1l P(X4/Y;) 


e), | lde=0 


jer je: 
n n 
) Pp =) Pr) =a 
i=1 i=l 


čime je (2.25,) dokazano. 

Ako smatrano da skup X predstavlja bilo koji sim- 
bol koji može biti predan, tada nejednadžba (2.25.) govori 
9 tome da neki primljeni simbol Yj uvijek donosi pozitivni 
Sadržaj informacije o mogućim predavanim simbolima. To nam 
može poslužiti kao mjera kvalitete prijemnog uredjaja - čim 
je taj sadržaj informacije veći to je bolji prijemni uredjaj. 
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Analogni postupak možemo primjeniti za izračuna - 
vanje srednja vrijednosti uzajamnog sadržaja informacije za 
skup Y =(9,) j=lj2 ... m, uz fiksirani dogadjaj x: 


m 
P(y.4/2,) 
I(xg5Y) = HI P(yy/Xy) 1d ---d-3. X (2.27.) 
jal P(y;) 


Gornji izraz takodjer zadovoljava uslov (2.25.). 

Odredimo dalje potpuni srednji uzajamni sadržaj 
informacije u skupu dogadjaja Y koji se odnosi na skup doga- 
djaja X izrazom: 


: x (x./y4) 
P(ž4/Y 
IXsY)= ) » p(xy,9;)1d ndomi st sd i“ 


i=l1_ jel P(x,) 


= , P(yy) ć 1(£5y,) (2.28.) 
j=1 


I gornji izraz zadovoljava uslov (2.25,.). Veličina 
I(I;X) karakterizira sadržaj informacije koji je u prosjeku 
sadržan u skupu primljenih simbola, a koji se odnosi na skup 
predsranih simbola, i to prije predaje bilo kojeg odredjenog 
simbola, 

Sada je potpuno razumljivo, da će nas u praksi 
najviše ustvari zanimati tako definiran srednji uzajamni 
sadržaj informacije I(X;X), a ne samo uzajamni sadržaj infor- 
macije Mx4i9j) koji se odnosi samo na odredjene dogadjaje 
(simbole). 

Na isti način možemo pomoću srednjih vrijednosti 
napisati i izraze (2.7.),(2.12,) 1 (2.15.): 


i 


I(X;T)=1(Y;5X) 0 (2,29.) 

I(X;YZ)=1(X;1) + I(X;2/1) (2,30.) 

I(YZ;X)=1(Y;X) + I(Z;X/Y) ' (2,31.) 
PRIMJERI: 


2,1. Dio nekog telekomunikacijskog sistema prikazan je na 
slici 2.2. 


X O SsK(lop oy 
Ulaz IzQz 


St. 2.2. Dio binarnog sistema 


Na njegov ulaz dolazi signal X koji može imati dvi- 
je vrijednosti "0" 1 "1", Isto tako se na izlazu pojavlju= 
je signal I koji takodjer može imati dvije vrijednosti "0* 
i "I". U sklop ulaze smetnje i djeluju na signale. 

Signal X poprima vrijednost "1" sa vjerojatnosti &, 
a vrijednost "0" sa vjerojatnosti G=1l- a ,Usi- 
jed djelovanja smetnji, ne dolazi do jednoznačnog pridru- 
Živan ja vrijednosti signala Y odgovarajućim signalima X, 
Pa sa zadi toga za iz=l, Y može pojaviti kao "1" sa vjero- 
jatu. /8,a kao "0" ga vjerojatnosti BB =1-A, 
a Za X=0, Y će biti "1" sa vjerojatnosti a "0" sa 
Vjerojatnosti F=1- KP. 


s PBa 


Odredite potpuni srednji uzajamni sadržaj informa- 
cije sadržan u skupu Y, koji se odnosi na signale X, naj- 
prije općenito, a zatim za K =0,6, B=f =0,9 


Rješenje: 


Možemo napisati vjerojatnosti, sa kojima signali 
poprimaju odredjene vrijednosti: 


p(X=l)= A p(K=0)=1 -eC = oč 


prel)=(C3 + pir=0)= 8 +€ 


p(Y=1/X=1)=/3 p(Y=0/X=1)= /3 


p(Y=1/X=0)= # p(Y=0/1=0)= #7 


Gornjim vjerojatnostima obuhvaćene su sve moguć - 


nosti koje mogu nastupiti, 
Prema izrazu (2.28.) izlazi: 


(x./ 
I(X;Y)= , ji P(xg>y;)1d Plzy/9y) 
izlo dal P(x,) 


Dalje slijedi: 
P(xy194)=P(Za) +P(F4/X4) 


p(X=l,fY=l)= o./3 p(X=0,f=1l)=(1- a) g 


p(X=1,X=0)= KC. p(X=05Y=0)=(1- CL). P' 
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pix Aj —- 


p(X=1/Y=1)= ----.- zas PB 


L/B+a&# 


p(X=1/1=0)= ===> 


p(X=0/Y=l)= -------------_ 


-dF 
p(X=0/f=0)= ME i MR 


LA + 


A 9,9 
i rike dado osninsa +0,6.0,1 14 mana. mame 


0,6.0,9+0,4.0,1 0,6.0,1t0,4.0,9 


+09,4.0,;1 Id -------=ie------ +0,4.0,9 14 --=---=Že------- = 
0,6.9,9_ 0,;4.0,1 0;6.0,1_ 0,4.0,9 


0,54 1d 1,55+0,06 1d 0,238+0,04 1d 0,172 + 
+ 0,36 1d 2.14 = 0,54 . 0,632— 0,06 . 2,07 — 


0,04 . 2,534+0,36 . 1,1 = 


0,34—0,124—09,101+0,396 = 0,511 (bit) 


2.2. Simboli Morzeovog alfabeta mogu se pojaviti u nekoj 
vijesti sa vjerojatnostima: 


Odrediti srednji sadržaj informacije u vijesti koja 
sadrži 500 znakova HWMorzeovog alfabeta, ako nema statistič- 











razmak 
medju riječima 





razmak 
medju znakovima 





ke veze izmedju pojedinih znakova u slijedu. 


Rješenje: 


Općenito se skup znakova, koji se pojavljuju s od- 
redjenim vjerojatnostima može okarakterizirati sa pros- 
ješnim vlastitim sadržajem informacije, jer u takvom sku- 
pu svaki znak potpuno jednoznačno odredjuje samog sebe. 
Prema tome je srednji sadržaj informecije koji donosi je- 
dan znak: 
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n 
1 
I(X)= H P(x,) Id ----< = 
Ni P(x,) 
1 1 1 
=0,51.1đ =——_+9,31.1d =---+0,12.1d --—- + 
9,51 0,31 9,12 


1 
+ 0,06 1đ =-_-20,495+0,523 +0,367 + 
0,06 


+0,243 = 1,628 bit/znaku 


Skup od 500 takovih znakova imat će srednji sadržaj in- 
formacije: 


I = 500 «4 1,628 = 815 bita 


E kam. Gi Ei 

ga sistema. Oba ulazna znaka po- 
javljuju se sa jednakim vjerojatnostima, a slijed zna - 
kova je statistički nezavisan. Uslovne vjerojatnosti 
P(y,/x,) zadane su tabelom: 


xo | 1/32 1/64 |s/ea 










ol 


2 
+ 


- 32 - 61 1 ja s1 


PO1)= ===, “e Fo, se = --. 
a) Izračunati i sastaviti tabelu za funkciju raz- 2 64 2 64 64 
diobe slučajne veličine I(x4594). 
31 
b) Izračunati srednju vrijednost veličine ' P(y2) zg aba 
I(x4394) 64 
P(y:/X4) 
Rješenje: 124514) = 1d ii. 
P(yi) 
Prema (2.4.) izlazi da je: 
| "aiea 1 VJERNA ma 
x sy = em, e. z 
P(£,/74) 1% : : 
I(£,3Y4) mla “Sese 3 
P(x,) 
he 61 64 61 
I(xpjYp)=ld ---- . “---2ld ---- = 0,977 1 
Pxy994)=P(2g) P(Y y/Zg)=Ply g) + PLZ 4/9 3) 4 31 s1 
1 64 1 
Plzi)+PlY4/f4) I(X];Y2)= 1d =--= , =oe- = 1d ---- = 5 
magije ki 64 31 31 
PlYj) 
1 32 
< < I(x25y0)= 1d se, 20 
P(y))= Žž P(x4:s74)= ) P(zi)+P(Yj/Xy)= ss. i 
iz=1 i=1 
i 1. 64 1 
1 il & £ ja i o ai rk 
P(y,)= 095.---—- +0,5.----m ----z--. 64 31 31 
32 352 64 32 
61 64 61 
1(x,iy,)=la om g. “omu: 1d om m 0,977 = 1 


64 31 z1 


' 
1 
\Hd 
\n 
U 
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2,2, Entropija, Svojstva entropije. 


uneseno u tabelu: 


U 2.1. pokazali smo da vlastiti sadržaj informa- 
cije dogadjaja X,, prikazan izrazom (2.8.), predstavlja 
onaj iznos informacije koji je potreban da se jednoznačno 
odredi taj dogadjaj. Po analogiji sa srednjim uzajamnim 
sadržajem informacije, odredimo i srednji vlastiti sadržaj 
informacije prema izrazu: ' 


n n 


IX)= ) Pizy)T(ay)= = H P(xy)Id p(x,)=H(K)  (2.52.) 





Kako se vidi iz tabele slučajna veličina I(X4394) može 
poprimiti tri vrijednosti -5, 0111 to svaku a od - i=1 iz1l 
redjenim vjerojatnostima: 


Srednji vlastiti sadržaj informacije I(X) pred- 
stavlja onaj iznos informacije, koji je u prosjeku potreban 
da se odredi bilo koja pojedinačna vijest iz skupa X mogućih 
Vijesti koje se predaju po nekom sistemu. Veličinu I(X) 
obično nazivamo entropijom diskretne slučajne veličine X, te 
ćemo ja označiti sa H(IX). 

Šub —-R-- a u9 aapnask uene Entropiju možemo promatrati kao kvantitativnu mje- 
Ž oh 





352 32 | 32 64. 64 64 








utrošiti da bi se uppznala bilo koja vijest iz skupa X, 

Entropija ne može biti negativna veličina budući 
da je vlastiti sadržaj informacije I(xy)=-1d p(xy) Žž 
Osim toga možemo napomenuti da je : 








= 56 7 
I=1(X;Y)=---- = --- = 0,877 [bit/znak] lia( -pldp)=0 i -pldp=#0 zap=1 
64 8 


P— o 
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Prema tome možemo zaključiti da će entropija H(X) 
biti jednaka nuli samo u slučaju kada je jedna od vjerojat- 
nosti p(x,), i=l,? ... A, jednaka jedinici, a sve ostale su 
jednake nuli, Taj rezultat se sasvim dobro poklapa sa fizi- 
kalnim smislom entropije, kao mjere neodredjenosti: u tako- 
vom slučaju kada je vjerojatnost jedne vijesti jednaka je- 
dinici, a sve ostale vjerojatnosti su nula, stvarno se može 
predavati samo ta jedna vijest, koja je ranije sigurno poz- 
nata. Nakon prijema takove vijesti (sigurne) ne dobiva se 
nikakav novi sadržaj informacije. 

Pokažimo da entropija H(X) zadovoljava nejednadž- 
bu: 


HX) E lin t2.33.) 


gdje jen broj svih mogućih dogadjaja X, (vijesti,znakova, 
simbola i t.d.). Znak jednakosti će vrijediti samo onda ka- 
da su svi dogadjaji jednakovjerojatni t.j. kada je 


p(x )a * za i= 1,2 ... De 
n 


Podjimo od izraza: 


ša 
HX) - 1dn= ) P(x4) 1d m m 
P(x4) 
i=1 

n 
- ) pz). ldn= 

i=1 
> 

=1 
n 


= 37 - 


Koristeći dalje nejednadšbu (2.26.) možemo napisati: 


E n 
1 
H(X)-l4d nE 3 P(x,)|----- - llide = 


np(x 
i=1 PK i 


NE | 
s a P(x,)|14 e =|--- - P(x,)|Id e =0 
i=1|l H i=1 


Iz čega izlazi: 


HX) Elan 


Prema tome možemo zaključiti da će entropija imati mak - 
simalnu vrijednost: ' 


Heda (2.34.) 


.. Razmatramo da dogadjaje X kao elementarne sim=- 

o Mgaifabeta tada nejednadžba (2.353.) pokazuje, da će sa- 

BRE ororaacije, koji u prosjeku donosi jedan simbol al- 
Me im maksimalan i jednak dualnom logaritmu broja 

ja a a Hepganika šlučaju kada se svi simboli pojavljuju 
maka ponaj agatina, Ako za taj način promatramo 

> pajvvandikjetoigna EX) nazvati informacionim ka- 
, predstavlja maksimalni prosječni 


Sadržaj informacij i 
je, koji može biti 
alfabeta, ' dobiven pomoću nekog 
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gdja znak jednakosti vrijedi samo u slučaju kada su doga= 


U najjednostavnijem slučaju, kada se alfabet sas- djaji gy, iz, statistički nezavisni t.j, kada je 
toji od dva znaka, informacioni kapacitet takovog alfabeta : p(Yj/x,) gi Piyy) za sve moguće indekse i, i j. 
će biti 14 2 = 1 bit. Za izvod dokaza poslužimo se razlikom: 
Izvedimo nadalje. izraz za srednju vrijednost us- 
lovne vlastite informacije. Polazeći od izraza (2,19.) sli- a a 
jedi: H(Y/X) - E(Y)= - ) ) Pug) ld piy,/z)) + 
n n iz1 j=1 
IY/X)= - ) ) Piz) 1d p(yg/žq) = m 
i=1 =l 
3 + ) P(yy) 1d B(y,) = 
i=l 
= H(Y/X) (2.35.) 
) no on 
zu p(x 1 : š X 
Veličinu I(Y/X) možemo nazvati uslovnom entropijom skupa do- : k 2 199) < P(yy/£4) + P(X4,Y4)1d p(yj)= 
gadjaja Y uz zadani skup dogadjaja I i označimo je sa H(Y/X). i=4 a jsl i=l 


Izvedemo li srednju vrijednost za izraz (2.22,) 
dobivamo entropiju skupa parova dogadjaja £ . Y: 


n m 
. > ) Pii99)) 1d Pa) 


n m 
H(X.Y)= = ) ) P(Z4:7 4) 1d P(X4:9 4) (2.36.) i=l. jel P(Yj/Xy) 


i=l_ ja=l 
Ovdje možemo opet iskoristiti izraz (2.26.), te se 


može napisati: 
odnosno, ako primjenimo izraz (2.1.) za izračunavanje slo- 


ženih vjerojatnosti možemo napisati: 


Ez 3 
= s P(y;) 
H(X.I) = H(X) + H(OT/Z) (2.37). Mraza) = > ) 94249) -----i- -i|ide = 
i=1 jail ' P(Yj/x4) 


Dokažimo nadalje da za uslovnu entropiju vrijedi 
nejednadžba: 


HY/X) £ H(Y) (2.38.) 
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n m ' 
= ) i )eeosop- er) ld a = 


i=1 jal 
n m n m 

= > p(x,) ) »y)- 3 479) ide =0 
i=1 j=1 i=1 j=l : 


Otkuda se dalje dobiva nejednadžba (2.38.) 
Očito je da znak jednakosti vrijedi samo u slučaju kada je 


Al «1 
P(Y4/X4) 


što je zadovoljeno samo za nezavisne dogadjaje. 
Primjenimo li analogne dokaze možemo utvrditi da 


je: 


H (Z/XxY) & H(Z/1) (2.39.) 


gdje znak jednakosti vrijedi samo onda ako za svaki Yj, do- 
gadjaji Zx ne zavise statistički o XA t.j. 


PZL/Pya) = PZy/vg) + 


U praktičkim primjenama relacije (2.38.) 1 (2.39.) 
imaju veliku važnost kod razmatranja procesa kodiranja in - 
formacija. Ako su r,, Sj i 5x elemantarni simboli kodnih 
kombinacija koji neposredno slijede jedan za drugim na izla= 
zu kodera informacija, tada će srednji sadržaj informacije 
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koji donosi poj 

 olbntoa : java ase Ž, biti umanjen samo u slučaju 
sa i statistički zavisi o predhodnim simbolima, 
t.j. ako se uslovna vjerojatnost p(Z /y:Xx4) razlikuje od 

vjerojatnosti p(2.). i Doe : 

' pre P(2p)e drugim riječima kapacitet alfaseta ko= 
ji primjenjujemo na ulazu kodera može biti umanjen uvodjenjem 
bilo kakovih unutarnjih veza medj 

ju elementarni - 

ka : m kodnim sim 

U prijenosu informacija veliku važnost igra ra= 
nije razmatrani srednji uzajamni sadržaj informacije, te će 
radi daljnjih različitih interpretacija biti pogodno izrae 
.. ga pomoću entropija. Kod toga ćemo primjeniti izraze 
2,25.) (2.32.) (2.35.) 1 (2,36.) 

o 036.) 1 uzevši u obzir i 

2.1.) 1 (2.2.). i; 
Jednostavnim transformacijama dolazimo do izraza: 


I(K;Y)=H(X)+E(Y) - H(X,Y) (2.40. ) 
I(X;Y)=H(X) -H(X/7) (2.41.) 
I(X;Y)=H(Y) -H(Y/X) (2.42.) 


Ov. : 

m napisani odnosi izmedju entropija i potpunog srednjeg 

odn sadržaja informacije omogućuju jednostavnu gra = 
interpretaciju pomoću Vennovih dijagrama (81.2.2.a.) 


H(x,y) 





St 2.2aVennovi djegrami 


s 42) = 


Površina lijevog kruga predočava entropiju skupa 
X, a desnoga entropiju skupa Y. Zajednički dio površine 
predstavlja uzajaani sadržaj informacije. Dio površine H(X) 
koji nije prekriven sa H(Y) predočuje entropiju H(I/T), a 
takodjer površina H(Y) koja nije pokrivena sa H(X) pred - 
stavlja entropiju E(Y/X). Jednostavnim geometrijskim sla - 
ganjem površina dolazimo do gornjih izraza. . 

Osim toga primjenjujući (2,9.) i sliku 2.2.a,. mo- 
žemo napisati: 


II;r) EH), IKI) E H(Y) (2.43.) 


Na temelju izraza (2.40.) do (2.42.) možemo dati 
tri različite interpretacije srednjeg uzajamnog sadržaja in- 
formacije. 
Iz izraza (2.40.) proizlazi da je srednji uzajamni sadržaj 
informacije jednak razlici izmedju srednjeg sadržaja infor 
macije potrebnog za odredjivanje skupova dogadjaja XiTY od- 
vojeno (kao da su oni statistički nezavisni), i srednjeg 
gadržaja informacije potrebnog za odredjivanje skupa parova 
dogadjaja XY. ' 
Iz izraza (2.37.) slijedi da je za nezavisne dogadjaje 
H(X Y)= H(X)+H(Y), što ima za posljedicu da je srednji uza- 
jamni sadržaj informacije jednak nuli I(X;YX)=0. Prema tome 
ovakova interpretacija govori, da veličina I(X37) karakte- 
rizira mjeru statističke veze medju skupovima dogadjaja Xi 
Y. 

Veoma važnu za primjenu interpretaciju srednjeg 


uzajamnog sadržaja informacije daju izrazi (2.41.) 1 (2.42.). 


Razmatramo li dogadđjaje XA kao slementarne simbole informa- 
cije na predajnoj strani telekomunikacijskog sistema pod = 
vrgnutog djelovanju smetnji ( s1, 2.5.), a Tj» kao elemen=- 
tarnes simbole na prijemnoj strani, spomenuti izrazi pokazu= 
ju fizikalnu prirodu prijenosa informacija. Veličina I(X;TY) 
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ovdje jasno poprima smisao transinformacije Ea » jer je to 
upravo onaj dio sadržaja informacije koji generira izvor 
(entropija izvora), koji dolazi do prijemnika, 

preneseni dio. 


ja | TELEKOMUNIKACIJSKI SISTEM | Odredište 





H(x) 





H(Y/x) 


5.2.3 Tok inforrmocije 


Prij i j : 
: ijenogs informacija možemo promatrati sa dva stanovišta: 
a predajne strana i sa prijemne strane. 


Fizikalnu sliku prijenosa informacije gledano sa 
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strane predajnika daje izraz (2.41.). U tom je slučaju sred- 
nji uzajamni sadržaj informacije I(X:Y) = En, transinformaci- 
ja), jednaka razlici izmedju onog srednjeg gadržaja informa- 
cije potrebnog da se odredi skup simbola X prije prijena 
simbola Y i onog koji je za to potreban poslije prijema X, 
Prema tome je očito da entropija E(X) karakterizira srednji 
sadržaj predane informacije, veličina I(X3Y) = Hm s srednji 
sadržaj primljene informacije, koji se odnosi na predanu vi- 
jest, a uslovna entropija H(X/X) - srednji sadržaj izgublje- 
ne informacije (istisnute iz kanala) zbog utjecaja smetnji. 
Veličina H(X/X) karakterizira neodredjenost u odnosu na skup 
X koja još ostaje nakon prijema Y, radi nejednoznačnog pri- 
druživanja odgovarajućih gimbola,koje nastupa zbog utjecaja 
smetnji. Zato se veličina H(X/Y) još naziva - "ekvivokacija" 
(mnogoznačnost). 

Izraz (2.42.) ilustrira nam situaciju gledanu sa 
prijemne strane. Uslijed djelovanja šumova prijemnik ne mo=- 
že sa sigurnošću ustanoviti kojem je simbolu sa predajne stra=- 
ne pridružen primljeni simbol. Izraz (2.42.) izražava sred- 
nji sadržaj prenesene informacije I(X;Y) = Ha kao razliku 
srednjeg sadržaja informacije koju prijemnik faktički pri- 
ma, i srednjeg sadržaja informacije, koji je sadržan u prim- 
ljenim simbolima pod uslovom da je predavana informacija ra- 
nije poznata. 

Veličina H(Y/X) odredjuje se strukturom smetnji 1 karakterom 
njihove interakcije sa signalom. Zato se veličina H(Y/X) čes- 
to naziva i "entropija šuma" i budući da ona u ukupnom sadržaju 
informacija koji dolazi do prijemnika predstavlja dio koji 

ge ne odnosi na predanu informaciju naziva se još i "irele - 
vantnost". : 

Zaključimo razmatranja 0 entropiji i njenim svoj- 
stvima jednim općenitim primjerom. Uzmimo da se telekomuni- 
kacijskim sistemom (sl.2.5.) predaju dvije moguće vrijednosti 
veličine X : ši 01 ix 1 kod čega su apriorne vjerojat - 
nosti predaje: Ž ; 


sx) =pPy, Pz) =1-p 
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Primjenimo li izraz (2.32.) dolazimo do entropije 
izvora informacije: 


H(X)= - b 1d p+(1-p) 1d av) (2.44.) 


Slika 2.4. prikazuje zavisnost entropije H(X) o vjerojatnosti 
p. 


HO 1,0 


0,8 





naca 
LA LL 


92 


2 02 04 06 0# 10p 


St 24 Entropija binorroag izvora 


Možemo se uvjeriti da je entropija uvijek pozitiv- 
na veličina, i postiže svoj maksimum jednak 1 bit, kada je 
Predaja oba simbola jednako vjerojatna. Krivulja je simst - 
rična obzirom na pravac p=0,5. 

M “deka zelenog nadalje, da se na izlazu promatra - 
. ekomunikacijskog sistema mogu pojaviti dvije vrijed= 
Kg slučajne veličine Y: izo Yo" 1, kod čega je 
 evgekika smetnji u sistemu vjerojatnost pravilnog pri-= 
rad kojeg siuboba 1- Pz» a vjerojatnost pogrešnog 

a fo, što je ilustrirano slikom 2.5, Prema tome je: 


PO/žp) =1-P,, PlY/x2) = * 





mae 





Na: 19) 
X 
1 R 1 
PlX,) =p pd “pr, 2ph 
A 
X2 y, 
Plxa) * 1-P 1-A PŠ »1-P(m) 


St. 25. Binarni simetričhi kanat 


Takav sistem gdje se prijenos informacija vrši 
po gore iznesenom modelu, zove se binarni simetrični kanal. 
Da bi izračunali srednji uzajamni sadržaj infor - 
macije odnosno transinformacije prema izrazu (2.42,) na - 
djimo najprije vjerojatnosti p(y1) 1 P(Y2)+ Uz pomoć sli= 
ke 2.5. izlazi: 


P(yr)=P(Xp) +P(F1/Z]) + P(£2) +P(F1/22)=P-2P2P +Pg 


P(y2)=P(X1) +P(Y2/X]) + P(x2) «P(Y 2/22)=1-(P-2P,P +P4) 


= 47 
Zatim slijedi: 


= - -2 + + 
H(Y) bo PP, P2) id (p 2pP2+P2) 


+ (1-p +2pP,-22) 14 0-0+82;29] (2.45.) 


Lako se možemo uvjeriti da će entropija H(Y) postići svoj 
maksimun za p=-)- koji će biti 1 bit bez obzira na veliči- 
nu Pz. Napišimo dalje izraz za uslovnu entropiju H(YI/X) u 
obliku: 


H(Y/X)= A P(X,) 3 P(Yy/xy) 14 P (14/1,) 
1 j 


te uvrstivši odgovarajuće vrijednosti izlazi: 
H(Y = - - s 
(Y/x) (a P,) 14 (1 P)+P. 14 | (2.46.) 


iz čega se očito vidi da uslovna entropija binarnog simet= 
ričnog kanala ne ovisi o apriornoj vjerojatnosti p. 

Uvrstivši dobivene rezultate u izraz (2.42.) dobi- 
vano: 


VI;I)=Hp= -la-aeegs >) 1d (p-2pP2+ Po) + 
+ (1-p+2pP,-P,) še (1-p+2pP,-P,) + 


+ (1-8) 1d (1-Bg)+Pg 1d 2 bit/aimbol] (2.47.) 


U praksi nalazimo najčešće slučaj kada je p=0,5, što onda 
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daje rezultat: 


Hp=I(X;Y)=1 + h 1-P)14(1-P)+ ae) [bit/simbol] = (2.48.). 


Grafički prikaz zavisnosti transinformacije o vjerojatnose 
ti pogreške dan je na slici 2.6. 





O 02 04. 06 98. 10 f% 


Sl. 26 Tronsinformacij» binornog simetričnog 
kano 


Izraz (2.48.) eksplicitno pokazuje, da se tran - 
sinformacija smanjuje usljed djelovanja smetnji za veliči= 
nu entropije šuma H(I/X). 

Navedimo jedan numerički primjer: neka je Po=9,01, 
što znači da prisustvo šuma u sistemu unosi pogrešku, tako 
da se u prosjeku na 1oo simbola jedan prima pogrešno (0 um- 
jesto 1 ili 1 umjesto 0), Za taj slučaj je Hp=0,919 bit/simb, 
Možemo nadalje zaključiti da će vrijednost entropije H(Y) 
ostati nepromjenjena ako procenat pogreški raste do 50%, a 
entropija šuma H(Y/X) (irelevantnost) raste prema 1 bit/sim= 
bolu. Kada je Pg=0,5 +transinformacija je jednaka nuli, od - 
nosno ne predaje se nikakova informacija. 
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Za P,=l (t.j. 100% pogrešno primljenih simbola) transin - 
formacija je Er= 1 bit/sim, kao i za P= O, budući đa u tom 
slučaju možemo sa sigurnošću tvrditi da je %, #y, i=l,2,. 
pa možemo jednoznačno nakon primljenog simbola utvrditi ko- 
ji je predan,samo treba umjesto 0 čitati 1 i obrnuto, 


PRIMJER : 


2,4. Telekomunikacijskim sistemom prenose se vijesti po- 
moću alfabeta koji se sastoji od 8 konzonanata i 8 voka- 


la. Svi znakovi alfabeta su jednakovjerojatni i nema statis- 


tičke veze medju njima. Konzonanti se uvijek prenose pra- 
vilno, a vokali samo u polovini slučajeva, U drugoj polo- 
vini slučajeva nastupaju pogreške, kod čega svaki vokal 
može preći u bilo koji drugi sa jednakom vjerojatnosti, 
Kolika je transinformacija ? 


Rješenje: 


Na slici 2.7. prikazana je shema prijenosa, 


X; y 
Ky 029 ky 
Kk, ———— Bg k, 
. LJ 
Ka ————————, & 
V, V, 
V2 Y 
3 . 
& Ya 
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Apriorne vjerojatnosti pojave znakova su ista za sve 


znakove i jednake p(x,) = -Iz- 


Uslovne vjerojatnosti za konzonante: 


P(k:/K4) =1 $ pl kj/K,) = 0 


Uslovne vjerojatnosti za vokale 
P(vy/Y4) = 0,5 3; P(vy/V,) = .- 
j=i jsi 


Vjerojatnosti pojave znakova na prijemnoj strani: 


piyy) = E 


Transinformacija prema izrazu (2.42. ): 


Ep = H(Y) - E(Y/2) 


16 
H(Y) = ki P(Y) 1đ —l_ = 14 16 = 4 
jel P(y,) 


budući da su svi znakovi vj jednako vjerojatni. 


n m 
E(I = - š 1d f/ 
(I/X) ) ) pa, ) ro, sa 
i=1l jel 


= 51 = 
P(K,,k,) = --š- (K 
3 p ij) = 0 
16 

da is 
nlitosn oja seže g njeni. 1 

Pao u 

i=j i#j 


HY/X)= - l8. a 141+8.0140+ 


+8 i če Id aka iBeloe 14 sebe] a 
32 2 16.14 "S uu 


1 
alu 2 + 1d u =1,2 


Ep=4-1,2 = 2,8 [bita/ znaku 


ZADATAK 


IA Seva koja se sastoji od slijeda u ko= 
ot juju četiri simbola A,B,O i D frekvencije 
. . odoaka simbola su jednake, Medju simbolima 
Skini e veze, Prilikom prijenosa telskomunika= 
Mad mom u polovini slučajeva simboli se prima- 
jed djelovanja smetnji pogrešno, kod čega pri 


nast 
upu pogreške svaki simbol može s jednakom vjerojat- 


uošću preći u bil 
o koji drugi. Kolika je tr 
a an = 
Cija u takovom sistemu 7. : Moi 


( s 
odg, Hn = 0,21 bit/simbol) 
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2.3. Optimalno kodiranje informacija. 


Sredstvo, pomoću kojeg se izražavaju informacije 
raznih oblika, obično je neki formalizirani jezik. Svi ele- 
mentarni simboli, od kojih se sastavljaju vijesti, čine al- 
fabet jezika. Tako na primjer, ako je vijast napisana na 
hrvatsko-srpskom jeziku alfabet gadrži 27 znakova, Analog - 
no napisanim znakovima u govoru su fonemi - karakteristič= 
ni zvukovi koji odgovaraju pojedinim znakovima. 
za prumorle čiraišia, m de ilo buta pokaje mt 
feba pretvaranja oblika informacij Da bi se to ostvarilo 
primjenjuje se koder informacije poka shemi na slici 1.1.) 
čija je. funkcija, da transformira ulaznu informaciju u sli-= 
jed simbola za nas pogodnog alfabeta, 


M Pravilo, .po kojem se svakom elementarnom simbolu 
informacije pridodaje odredjena peanins oi a Konea drugog 








Aja ng Mare — 
racija prikrivenja skupe. ee a pomoću slijeda simbo- 


la drugog a alfabeta 
Prema tome, koder pretvara informacije predstav- 


ljene u obliku odredjenih slijedova simbola ulaznog alfa - 
beta (simboli informacionog alfabeta) u kombinacije simbo= 
la izlaznog, kodnog alfabeta (kodni simboli). Kombinacije 
simbola kodnog alfabeta, koje su kodna reprezentacija ele - 
mentarnih vijesti nazivat ćemo kodiranim vijestima ili 
naprosto "kodnim riječima", 

mazim rimjenju= 
ju, kodove/nazivano: binarpi 5 ako primjenjuju : samo dva 


tri zaslišita elementarna odabola : 4 bd. kri 
m a 
Za prektičku primjenu najpođesniji su binerni fo> 


dovi, jer. je za njih. tehnička izvedba sklopova za kodiranje 
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id dekodiranje najjednostavnija, Oni imaju široku primjenu 


u di italnim elektroničkim računalima kao 1 u prijenosu 1 


obradi podataka za saslašite namjsne Cak telegrafiju - ine 


Baje a ara: 
na reprezentacija. ae. binarnih simbola Q11 mo= 
že biti različita: struja odredjenog intenziteta i prekid 


te struje, dva različita naponska nivoa, hermonički titra- 
ji sa dvije različite frekvencije i t.d. u 


Kodiranje jedne te iste elamontarne vijesti umo= 
žemo izvršiti na različite načine, Prema tome ge normalno 
pojavljuje pitanje, koji je od tih načina u danom sistemu 
najpodesniji +.j. Optimalan u odredjenim okolnostima, 
Prirodno ja da očekujemo, da KJ sprnnini kod biti onEd 








a i i 
noj vijesti vijesti i i drugo ko, kojem je zg prijenos elementarne vi- vi=- 
jesti potret jesti potrebno minimal minimalno vrijeme (ili, što. je isto, mi - 


nimini mo, ći broj elementarnih kodnih simbola zadanog 
trajanja). Kakao 

Suština prvog uslova je da se mora omogućiti Zoverzna ope- 
racija kodiranja bez gubitka informaci ije, a bit drugog us- 
lova je sko ično koda. 

Objasnimo pobliže spomenute uslove koje mora 
zadovoljavati optimalni kod. Prije svega, očito je da pro- 
daa kodiranja, kao i bilo kojom drugom transformacijom 

formacije, možemo informaciju samo sačuvati, ali je ne - 
moguće povećati njen sadržaj. 
pana vijest će sačuvati prvobitni sadržaj informacije 
zEdržaj informacije izvora) samo pod uslovom, ako su sve 


ki < 
Odne riječi različite i jednoznačno pridružene odgovara- 


u 
jućim prvobitnim elementarnim vijestima, Način kodiranja, 


E dolazi do gubitka sadržaja informacije, mo- 

m ra t.j. primjenimo li na kodne 

. revan (dekodiranje), možemo doći do 

a jesti bez gubitka sadrža sadržaja informacije. 
Promatrajmo nadalje jednostavan skup od NK medju- 
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gobno nezavisnih elementarnih vijesti uy» i=l,2... N, za 
koje su poznate apriorne vjerojatnosti p(uy)« Predpostavi- 
mo, da želimo kodirati svaku elementarnu vijest pomoću sli- 
jeda simbola (kodna riječ) kodnog alfabeta, koji sadrži IL 
različitih simbola vi, j=l,2 ... LaLE<HN.UzL <N 
nemoguće je svaku elementarnu vijest jednoznačno predstavi- 
ti jednim simbolom kodnog alfabeta, te je za to potrebno 
utrošiti više kodnih simbola. 

Ako kodni alfabet sadrži K simbola može se broj različiti ih 
slijedova (kompleksija) M » koji sadrže po n simbola svaki, 
prikazati kao (varijacije s ponavljanjem): 


IKEzII (2.49.) 





Očito je, da kađa slijed sadrži samo jedan simbol, možemo 
načiniti L takovih različitih slijedova. Dodavanjem još 
jednog simbola u slijed daje I“ različitih slijedova t.j. 
Va .W > k=1,2 ek Li vV= 1,2... b, itd. 

Naš je cilj da kodiramo N elementarnih vijesti 

sa N kodnih riječi koje sadrže po 1 simbola svaka. Da bi 
nogli ostvariti jednoznačno pridruživanje mora proma (2.49.) 


>. 


pao en 
Ifa zi (2.50.) 
I 


gdje je n najmanji cijeli broj, takav da nejednadšba bude 
zadovoljena. Očito je da izborom Lin ustvari odredjujemo 
vrstu koda. 

Uzmimo na pr. da želimo kodirati znakove alfabe- 
ta hrvatsko=»srpskog jezika. Tu je N=27. Odaberemo li binaz- 
ni kod, tađa je I=2, Da bi ispunili uslov (2.50,.) mora biti 
n=5 toje 29 = 32 > 27. Prema tome, sve znakove možemo pred= 
staviti različitim kodnim riječima, koja su sastavljene od 
pet binarnih elementarnih gimbola ( 0 11). šedan od ta - 
kovih kodova je i internacionalni kod broj 2, prikazan sli- 
jedećom tabelom: 


KOD KOD 

ZNAK 12345 ZNAK 12545 
A 11000 Q lllol 
B looll R ololo 
fa] olllo S loloo 
D loolo T oo0ol 
E 10000 U llloo 
F lollo V ol11l1l 
Q ololl LJ llool 
H oolol I 1loll1l 
I olloo Y lolol 
s llolo 2 loool 
K llllo ooolo 
L olool olooo 
u oolll SLOVA 11111 
N oollo BROJKE lloll 
0 ovoll RAZMAK 00100 
P ollol KOMB, 32 00000 

TABELA 2.1. 


Ako u fizikalnoj reprezentaciji koda oba elemen- 


tarna simbola (strujni impuls i pauza) imaju jednako tra - 

a, jee će sve kodne riječi imati jednaku dužinu. Takvi 

ja e vaju se ravnonjernima, Usporedimo li takve ko- 

SA Srarvaonjesnia , tada oni prvi imaju tehničke pred- 

» t.j. jednostavni su za dekodiranje, 

38 “me orbnaja koristit ćemo se binarnim kodovima, 

, IR inu avan primjer prevodjenja vijesti (znakova) 

mete še pomoću binarnog koda. Suština problema je 

< Pa me, da se različiti brojevi napišu u binarnom 
računanja. U tu svrhu je potrebno numerirati redom 


= 66 = 


sve vijesti ( znakove ) prema nekom svojstvu ( na pr., 
poredati ih po padajućim vjerojetnostima njihovog po - 
javljivanja ). Tako ćemo umjesto N vijesti, promatrati 
brojeve 0,1,2 «e, N-=1, 

U našim računanjima obično se služimo dekad _ 
skim sistemom brojeva, u kojem se svaki broj može prika- 
zati u obliku suze potencija broja lo : m. 


a 





> 
-l * e 
+ ... +8 lo+a, 


l 





(2.51.) 





gdje su ak >» 8kLJ 9 +10 8] 9 A > brojke koje mogu popri- 
mati vrijednosti od 0 do 9, Kod zapisivanja broj m prika- 
zujemo slijedom kosficijenata a, t.j. 


= 8% 8_1 no... 81 2 8 
(na pr. 642 = 6 . 1024+ 4. 10 +2) 
Analogno kao u dekadskom sistemu broj m možemo 
s 


prikazati i u binarnom, u obliku sume potencija broja Z: 
_————————— X 


-———————— 





sm S 98-1 S 





= da dgag +++ b1b, (2.52.) 
lo te. a 
gdje kosficijenti ba , bo oo...) bi , ba mogu popri- 


mati vrijednosti manje od 2 t.j. 0 11. Na primjer 
5 = 1.224 0.2+1 = 101 

U drugom retku tabele 2.2. napisani gu brojevi 
od 0 do 10 u binarnom sistemu. 
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DEKADSKI 1 4 7 lo 
BINARNI 1|10 | 11 | 109] 101] 1lo] 111ilo000l100l | 1olo 
SISTEM 


TEBELA 2,2, 













Primjer u tabeli 2.2. pokazuje da takvim načinom 
možemo numerirati sve moguće elementarne vijesti najpri- 
je u dekadskom sistemu, zatim dekadski broj prikažemo od- 
govarajućim binarnim koji već možemo smatrati u neku ruku 
i binarnim kodom. Medjutim očito je,da bi taj kod bio ne- 
ravnomjeran (kodne riječi sastavljene su od različitog bro= 
ja binarnih simbola), 
m To bi predstavljalo poteškoće kod dekodiranja, 

a bi nastupale pogreške, jer se u procesu prijenosa 
Slijeda vijesti ne bi moglo ustanoviti gdje je kraj jed - 
oi tak druge. Tako se na pr. vijest br. 4 može de- 
m. _ kao jedna vijest br, li dvije vijesti br, 0, ili 

jest br. 2 i vijest br. 0 1 t.d. 

Da bi se to izbjeglo potrebno je uvesti ili spe- 
ak za odjeljivanje kodnih riječi ili kod nači - 
. mjernim, dodajući na početak svih kodnih riječi 
"a pe. manja od maksimalne onoliki broj jednakih 
broja, jm ola (na pr, 0), koliko ih nedostaje do onog 

9 ih ima riječ sa maksimalnom dužinom, Za pri- 


8F ih 
bel . nabi od o do lo to je prikazano u trećem retku ta- 


*ijalni zn 
Niti ravno 
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Vratimo se nakon ovog primjera na razmatranje 
osnovnih uslova koje moraju zadovoljavati kodovi - re - 
da uvijek u principu možemo realizirati nekoliko različi- 
tih kodova za koje je ispunjen uslov reverzibilnosti. Mes- 
djutim, oni u pravilu ne zadovoljavaju drugi uvjet - eko- 
nomičnost koda. 

Ekonomičnost koda je sve važniji faktor u suvremenom raz- 
voju telekomunikacija. Suvremeni stupanj razvoja ljudskog 
društva je takav, da zahtjeva obradu i prijenos sve veće 
količine informacija, koje moraju stići do potrošača u_ 
što kraćem vremenu, Pri tome će odlučujuću ulogu imati 
izbor vrste koda koji predstavlja informacije u teleko 
munikacijskom sistemu. 

Navedimo neke postavke koje potvrdjuju činjenicu da su 
mnogi reverzibilni kodovi neekonomični, Neka su elementar- 
ne vijesti ui koje treba kodirati znakovi alfabeta hrvat- 
sko-srpskog jezika, Pokazano je da su za različite Zna - 
kove vjerojatnosti njihove pojave p(u4) različite, Do 
sada te vjerojatnosti nismo uopće uzimali u obzir (intar= 
nacionalni kod br. 2 ), već je svakom znaku pridodana kod- 
na rijač iste dužine, čime se dobio ravnomjeran kod. In - 
tuitivno se nameće misao, da će ekonomičniji kod od spo- 
menutog biti onaj, kod kojega se znakovima sa većim vje- 
rojatnostima pojavljivanja, pridodaju kodne riječi sa ma- 
njim brojem elementarnih simbola i obrnuto, onima sa ma - 
njim vjerojatnostima, kodne rijsči sa većim brojem simbo- 
la. Prema tome će ovakav kod biti neravnomjeran. Nadalje 
se mora ispuniti uslov da takav neravnomjeran kod bude i 
reverzibilan. Da bi on to bio, mora se ispuniti slijedeći 
uvjet: ni jedna kodna riječ ne smije se podudarati sa po- 
četnim dijelom bilo koje druge duže kodne riječi. Ako se 
ispuni ovaj uslov, kodne riječi će biti različite, t.j. 
uvijek će se moći ustanoviti gdje je kraj jedne riječi, 

a gdje početak druge. Na primjer, ako je u binarnom kodu 
iskorištena kompleksija "lol" ne smije se više upotrije- 
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biti komplseksije "lo" ili "lolo", U prošivnom može se 
smatrati početak rijači lol kao riječ 10, odnosno po e 
četak riječi lolo kao rijač lol i t.d. 


Može se dokazati ako je zadovoljena nejednadž- 
ba + 


N/1= 
ti 
' 
" 
ih 


 (2.53.) 
k=1l 


da je to nužan i dovoljan uslov da egzistira skup od N 
različitih kodnih riječi, u kojima sa primjenjuje alfabet 
od L različitih elementarnih simbola, a njihov broj u ssa 
jedinim riječima Zadan je cijelim brojevima Pm k=1,2 N 
ida se ni jedna riječ ne pojavljuje kao nastavak so i 
druge kraće riječi, 
Tree što smo vidjeli kakove uslove moraju za- 
odovi, možemo razmotriti osnovni tsorem o ko= 
diranju vijesti. On pokazuje kako se može ustanoviti koji 
BER ć0ni promječni broj elementarnih kodnih simbola 
I la aaa reprezentaciju elementarne vijesti. 
ota m Kid dokazi tog teorema dosta 
M 34 ipo Pepe jednostavnija razmatranja ko- 
. “Na m najopćenitiji slučaj, kada iz sku- 
da ote . a neku elementarnu vijest ug, koja 
I pana i sa nj simbola vj kodnog alfabeta koji 
simbola. Uzevši u razmatranje čitav skup 


Vijes n 
CZ ski, Pošeno prosječni broj 1 kodnih simbola pridruže- 
jednoj vijesti izraziti kao: 


N 


ne ž n, p(u,) (2.54.) 
iz=l 
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elementarne vijesti iz skupa U i kapacičeta kodnog al- 


ako smatramo n, slučajnom varijablom. 8 
fabeta jednak cijelom broju, t.j. 


Odredimo nadalje, koju minimalnu vrijednost mo= 
že poprimiti veličina m. 
U razdjelku 2.2. je napomenuto da entropija I(u,) 14 p(u,) 


H(U) skupa elementarnih vijesti izražava prosječni sadr- (2.57.) 
žaj informacije potreban za jednoznačno odredjivanja bilo id L ld z 

koje vijesti (dogadjaja) iz tog skupa. Osim toga izraz 

(2,34.) pokazuje da će svaki simbol kodnog alfabeta u pro- 

sjeku donositi maksimalni sadržaj informacije, koji je zarsn Ra cijeli brojevi za i=1,2 +... N, 

jednak informacionom kapacitetu alfabeta 1d L, u slučaju Uvrstivši gornje vrijednosti u izraz (2.54.) izlazi: 

kada su svi simboli medjusobno nezavisni 1 jednako vja - 

rojatni. = r 

Smatrajmo za sada da je taj uslov ispunjen, Iz uslova ađi- n= e ) P(u,) I(u,) = E(U) (2.58. ) 
tivnosti (2.37.) za slučaj kada su simboli nezavisni, pro- ii id L 

izlazi da srednji broj takovih simbola n može izraziti ' 

maksimalni sadržaj informacije jednak h 1d 1. 

Da bi se svaka vijest mogla jednoznačno zamije - 2 Odredimo nadalje maksimalnu vrijsdnost veliči- 
niti odgovarajućom kodnom riječi mora biti ispunjena ne- ne n. Veličina n, u izrazu (2.57.), može imati samo vri - 
jednadžba: jednosti cijelih brojeva, ali desna strana istog izraza 

: ne mora uvijek biti cijeli broj. Prema tome ćemo nj 
Zur žao (2.55.) odabrati tako da on bude prvi veći cijeli broj t.j. 
što proizlazi iz izraza (2.50.) logaritmiranjem. I(u,) 
Izraz (2.55.) može se napisati i u obliku: mii oz m. ač 1) dii (2 
ija a .59. ) 
Ta LB ora) 
id L Miranje Ke atra vaga u principu problem ko- 
arnih vijesti riješen, 
.. SJA nazmotrimo još veličinu f, te u tu svrhu pon- 
Gornji izraz pokazuje, da prosječni broj kodnih simbola ma na (2.59.) sa pozitivnim brojem p(u,) te izvrši- 
u kodnoj riječi, koja predstavlja jednu elementarnu vi- ju po indeksima i, Kao rezultat slijedi: 


jest, ne smije biti manji od odnosa entropije skupa vi=- 
jesti i kapaciteta kodnog alfabeta. mal - : 
: “a. I(u,)p(u e 
Znak jednakosti u izrazu (2.56.) vrijedi samo ld L 1 i? i ti p(uy) < 


i 
onda, kada je odnos vlastitog sadržaja informacije svake 
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£ od ) 16) vtuy) 2: » (u): 
1d L d : 2 ki. 
i 


i konačno: 


1d L 14 L 


Izraz (2.60.) prikazuje granične vrijednosti za =. Pros- 
ječni broj kodnih elemenata potrebnih za kodiranje neke 
elementarne vijesti mora biti cijeli broj izmedju vrijed= 


nosti EM 1 HOD +1 (sl. 2.8.) 
ldL 141 


HU)Y/ld L H(J/aL+1 


1 


A-1 


RT 
> 
+ 
ps 
RJ 


5(.28.Uz izad izraza £.60 


H(U 
ukoliko veličina : nije već cijeli broj. Time su iz- 
raženi uslovi optimalnog (ekonomičkog) kodiranja ele - 
mentarnih vijesti. : 
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očito je da će relativna razlika izmedju gornje i donje 
granice za f biti to manja što je veći odnos E) . Taj 
odnos se može povećati ako kodiramo “blokove“ koji se sas- 
toje od niza elementarnih vijesti, a ne pojedinačne ele - 
mentarne vijesti. U stvari, gornja razmatranja se odnose 
na kodiranje elementarnih vijesti u, ne vodeći računa o 
tome, da se one pojavljuju na izlazu izvora informacije 
jedna za drugom u vremenskom slijedu, te da je konačna vi- 
jest sastavljena od dovoljno dugog slijeda simbola u,. 

Prilazeći tom problemu sa te strane, dGšeno ko- 
načnu vijest razdijeliti na blokove, koji sadrže po 
elementarnih vijesti (simbola). Ranije smo rekli, da al - 
fabet sadrži N različitih simbola, tada je prema (2.49.) 
broj različitih mogućih blokova dužine V jednak uY e 
Budući da smo pretpostavili statističku nezavisnost poje- 
dinih simbola u bloku, to će entropija H(U,), skupa U 
koji je sastavljen od svih blokova biti: 


E(Uy) = )-E(U) 


gdje je H(U) entropija simbola alfabeta elementarnih vi - 

jesti, Tome još treba dodati uslov, da su pojedini bloko- 

Vi medjusobno nezavisni, 

< Rai blokove, mora se takodjer ispuniti uslov 

| Sd da kod bude reverzibilan. Neka je Hy  pros- 

ia .. simbola x košnag riječi koja sada predstavlja 
ntarnih vijesti. Tada će prosječni broj kodnih 


šitbola, koji pr je v 
ipad 
pripada jednoj elementarnoj vijesti unutar 


bI 


Prinj se 
imjenimo li sada izraz (2.68.) na skup svih blokova izlazi: 














“B4 < 


H(Uy) A4 = a H(Uy) 


m S&i 
14 L 14 1 
i dalje: 
EI) &6yz < oOVED 41 (2.61.) 
14 L ia 8 


Podjelivši izraz (2,61.) sa V_ izlazi: 


KU) lg <4BHMi_i (2.62.) 
la IL 14 1 


Izraz jasno pokazuje da se sa n možemo po volji pribli= 
žiti iznosu sU ako samo uzimamo dovoljno duge blokove. 
Prema tom izrazu možemo sada postaviti osnovni teorem o 
kodiranju vijesti: "Minimalni srednji broj kodnih simbola, 
koji su potrebni za kodiranje jednog simbola vijesti, može 
se po volji približiti iznosu H(U)/1d L ( t.j. odnosu 
prosječnog iznosa informacije po jednom simbolu vijesti i 
kapaciteta alfabeta), ako se primjeni kodiranje dovoljno 
dugih blokova vijesti". 

Istaknimo ovdje važnost gornjeg teoremat prije 
svega iz njega proizlazi mogućnost procjene ekonomičnosti 
nekog koda, zatim je na bazi njega moguće ocijeniti kolike 
se neki konkretan kod po svojoj ekonomičnosti približava 
optimalnom. Kao najvažnije, teorem o kodiranju daje pravi 
fizikalni smisao entropiji elementarnih simbola vijesti- 
to je minimalni broj binarnih simbola koji se u prosjeku 
pridjeljuje jednom od elementarnih simbola vijesti, kod 
procesa kodiranja. 
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izraz (2.62,) poprimit će naročito jednostav- 
nu formu za binarne sustave ( kakovi se danas najčešće 
upotrebljavaju u praksi) za koje je I=2 : 


HU) & E i 


Sasvim je jasno, da sa stanovišta tehničke re- 
alizacije sklopova za kodiranje, neće uvijek biti najpri- 
kladnije kodiranje po blokovima. Moramo uzeti u obzir či= 
njenicu, da će kodsri i dekoderi koji se primjenjuju za 
kodiranja blokova biti sve složeniji što je dužina blo - 
kova veća, Osim toga, na prijemnoj strani sistema pri = 
mjenom takovog načina kodiranja, nužno dolazi do kainja= 
nja informacije, jer dekoder nora primiti čitav blok, da 
bi mogao dekodirati pojedine simbole u njemu, ' 

Prema tome, očito je da u tehničkoj praksi mo- 
Tamo tražiti kompromis izmedju onog što daju teoretske 
Postavke i ekonomičnosti tehničke izvedbe uredjaja, 
1 ten o kodiranju pokazuje principijelnu mo- 
ad pala adnijeg načina kodiranja i odredjuje gra- 
ka mičnost koda, a način na koji smo teorem iz = 

Pokazuje metodiku sinteze najprikladnijeg koda. 
BE. Mr žedoga dva primjera pokazat ćemo dvije 
za sintezu eptimalnih kodova, 


PRIMJER: 


= raditi U, koje treba kodirati, imaju ap- 
alkana jatnosti p(u,). U tabeli 2,3. vijesti 
<< a ia po padajućim vjerojatnostima, Odrediti 
o “on kodiranje odijeljenih vijesti koji 

ži k optimalnom, 
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VIJESTI | 


BROJ ZNAKOVA 
U KOD.RIJEČI 


TABELA 2.7. 
Rješenje: 


Metodika rješavanja je slijedeća: vijesti se Fredaju po 
padajućim vjerojatnostima ( ovdje je to već načinjeno u 
tabeli ). Takav slijed se razdijeli na dvije grupe tako da 
su sume vjerojatnosti pojedinih vijesti u obje grupe što 
je moguće bliže k 1/2, Svim vijestima koja su u gornjoj 
grupi pridodajemo simbol 0, koji označuje prvi znak binar= 
nog koda. Vijestima koje su u drugoj grupi pridodajemo sime 
bol 1, koji takodjer označuje prvi znak binarnog koda. Na- 
dalje se svaka od grupa opet dijeli na podgrupe, tako da 
je suma vjerojatnosti u svim podgrupama približno jednaka, 
kod čega se gornjim podgrupama u svakoj grupi pridodaje 
simbol 0, koji označuje drugi znak binarnog koda, a donjim 
podgrupama simbol 1 koji takodjer ima značenje drugog zna= 
ka. Ovakva dioba nastavlja se tako dugo dok u svakoj pod- 
grupi ne ostane samo po jedna vijest. . 
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U tabeli 2.5. prikazan js postupak za navedeni pri=- 
mjere 


Pokažimo da je izvedeni kod najbliži optimalnom. Iz- 
računajmo najprije entropiju za skup vijesti: 


6 


E(U) = - ) P(uy) 14 p(u,) A 1,94 bita 


i=l 


Prosječni broj binarnih znakova po jednoj vijesti je: 
6 


"= + nip(u,) = 1,94 Az H(U) 
i=1 


što dokazuje optimalni karakter kođa, 
Da li je kod 1 reverzibilan? 
Za reverzibilnost mora se ispuniti uslov: 


N 

-n 
brt, 
-1 


i 


Za ovaj slučaj: 


N 
) >; SEVE: NENE SEE | 

2 = rasta ed rea .1 
Pam 4 8 l6 32 32 


Uslov je zadovoljen | 


Ovd A R 
i je je bitno. primjetiti, da je onim vijestima koje 
Pojavljuju sa većim vjerojatnostima pridodan kraći 
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kod, dok je onim rjedjima pridodan duži kod,Takav 
način sinteze koda jedino i može dati prosječnu du- 
žinu kodne riječi 7 blizu iznosa entropije H(U), 
bez obzira na to što su kodna riječi za neke vijes- 
ti dosta duže. Ovakovu metodiku kodiranja razradili 
su C.Shannon i R.M,Fano, 


2,6. Zadan je skup vijesti uy i njihove vjerojatnos- 
ti P(u,) (81, 2,9.) 


10 
07 
00 
111 
1107 


7100 





5(.2.9, Optimalno kodiranje 


Vijesti su poredane po padajućim vjerojatnostima, 
Naći optimalan kod za kodiranje odijeljenih vi - 
jesti iz zadanog skupa. 


Rješenje: 


Primjenimo ovdje još jednu metodu nalaže- 





= 69 = 


nja optimalnog koda, 
Vijesti se poredaju po padajućim vjercjatnostima, 
Posljednje dvije ( one sa najmanjim vjerojatnostima) 
združe sa u jednu grupu, a njihove vjerojatnosti se 
zbroja. Nadalje se tako dobivena grupa promatra kao 
jedna vijest s tim da se stavi na odgovarajuće mjes- 
t9, prema iznosu vjerojatnosti, U tako dobivenom 
skupu opet se združuju dvije vijesti sa najmanjim 
vjerojatnostima i dobivena nova vijest stavlja se na 
odredjeno mjesto po rangu. Čitav postupak se ponavlja 
dok zbroj vjerojatnosti na bude jednak 1, Ha takav 
način dobiva se shema kao na sl. 2.9, 
Da bi došli do odgovarajućeg koda za pojedina vijes- 
ti vraćamo se natrag u smjeru strelica, tako da uvi- 
jek gornju granu označino sa "1" a donju sa "0", 
Broj grananja dat će nam broj binarnih simbola u kod= 
noj riječi za pojedine vijesti, a oznake grana bit će 
ujedno i oznaka odgovarajućeg binarnog simbola. Na 
8lici su označene kodne riječi za pojedine vijesti, 
Radi provjere rezultata optimalnog kodira=- 
nja izračunajmo najprije entropiju: 


6 
E(U) = - > P(uy) 1d p(uy) = 2,42 bita 


i=1 


a Zatim prosječni broj simbola u kodnoj riječi: 
6 
n = ) ny p(u,) = 2,55 


i=1 


Uvrstimo to u izraz (2.60.) te izlazi: 





















































- To = 
2,42 2,42 
2 £2,55 4 --- +1 
1d 2 14 2 


2,42 £ 2,55 < 3,42 


što pokazuje da se srednji broj simbola u kodnim ri- 
ječima samo malo razlikuje od entropije, t.j.da jo 
kod optimalan. 

Provjera reverzibilnosti: 


-n 
) rić, 


i=l 


2 m -5+-5+-5+-5+-=2-+-2- =1 


5 
) “Ni i. 4:1. 1.1 1 
44 4 8 16 _ 16 


i=l 
Uslov je zadovoljen. 
ZADACI: 


2.2. Neki alfabet sastoji se od četiri simbola, koji 
se pojavljuju sa vjerojatnostima prikazanim u tabeli 


ra E KR EE 


Izvršiti optimalno kodiranje simbola binarnim kodom. 


















Te 


2,3. U nekoj vijesti koriste se znakovi Al Ao, 4, i 
A, ga vjerojatnostima pojavljivanja: P(A1) = 0,45, 
p(A2) = 0,10, P(A,) =o,l51i P(A,) = 0,30. 


Za njihovo kodiranje stoje nam na raspolaganju kod- 
ni znakovi a,b,c i d čije su dužine trajanja t,= 8, 
tu= 6, te7 5, ta" 3 vremenske jedinice. 

Izvršite optimalno kodiranje, 


2,4. Vijest se sastoji od slijeda dva znaka A i B ko= 
ji se pojavljuju sa vjerojatnostima p(A) = 0,8, 
p(B) = 0,2, a vjerojatnosti ne ovise o tome koji je 
znak bio predan neposredno prije. 
Izvesti optimalno kodiranje binarnim kodom za sluča- 
jeve: 

a) odijeljenih znakova 

b) blokova koji se sastoje od digrama 

6) blokova koji se sastoje od trigrama, 


2.4. Kapacitet kanala bez memorije uz prisustvo smetnji. 
Sigurnosno kodiranje. 


Već je u poglavlju 1. spomenuto, da je osnov - 
na namjena svakog komunikacijskog sistema, da u što kra- 
ćem vremenu prenese što je moguće veći broj pravilnih in- 
formacija, Razmotrimo nadalje, kakova svojstva mora ima- 
ti kanal (t.j. onaj dio komunikacijskog sistema prema 
=. 1.1. koji uključuje koder signala, prijenosni sis + 
Meo rode pignala) da bi takovi zahtjevi mogli biti 
> eni, Bjesrostavino da je sam prijenosni sistem već 
nikak. da se njegove karakteristike ne mogu poboljšati 

Ovim daljnjim konstruktivnim zahvatima. Prema tome 
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u daljnjoj optimizaciji sistema u cjelini nsš cilj će 
biti, da nadjemo,kakove uslove moraju ispunjavati koder 

i dekoder signala. Njihove funkcije su već od ranije poze 
nate: kođer signala mora od kodiranih vijesti formirati 
takove signale koji će biti prilagodjeni karakteristika= 
ma prijenosnog sistema ( Frekvencijski opseg, trajanje 
signala i odnos signal-šum ), dok dekoder signala na ba- 
zi primljenih signala izobličenih sa smetnjama mora res= 


taurirati kodirane vijesti. 
Promatrajmo dio komunikacijskog sistema prema slici 2.18., 


e Prijenosni sistem 





S1.2.10. Dio komunikacijskog sistema 


koji se sastoji od kodera signala i prijenosnog sistoma. 
Primjenimo ovdje izraze (2.48.) do (2.42.), tako da pod 
podrazumijevamo simbole kodirane vijesti (ulaz u ko- 


x 
i 
odgovarajuće slementarne signale 


der signala), a pod Yj 
na izlazu prijenosnog sistema. U tom slučaju možemo od= 

rediti prosječni sadržaj informacije, koji se dobiva kao 
rezultat prijema jednog od signala Yj kako slijedi: 
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IX;r) = - ) kh] P(xg).P(y,/x,) Id Mrge - 
Lj 


P(x,) 


= HX) - H(X/Y) (2.64.) 


Očito je da količina primljene informacije ovisi o vjero- 
jatnostima P(xy) i P(yj/x,). 


U općem slučaju prijenosa informacija postojat 
će veze izmedju znakova koji se primaju u slijedu, t,j 
+ *d. 
primljeni signal Yj Sadržavat će ne samo informaciju o 
odgovarajućem predanom signalu Xi, već i o Znakovima koji 
su Mani neposredno prije njega. Uzrok takve veze može 
biti u medjusobnoj Zavisnosti, a isto tako u relativno 
m. vremenu korelacije smetnji koje djeluju u kanalu 
edjusobna zavisnost simbola kodirane vijesti odredjena 
Ma etičkom strukturom kodnog jezika, Veliko vrijeme 
:. slacije smetnji (vidi poglavlje 3.) uzrokuje zavisnost 
m rosti pojave promatranog simbola Yjo ranije pre- 
M ooima. Pri razmatranju te zavisnosti potrebno je 
oj ati uslovne vjerojatnosti, kako bi se sistem mogao 
me tačno opisati. Tako na primjer, ako se zavisnost 
. na e uzastopna simbola, potrebno je poznavati 
e vjerojatnosti p(x,/x!) 1 p(y./ a j ; 
Simbol DPredan M Kk F Moki jaki k 
E» neposredno prije simbola xi. ' 
E ale, u kojima Postoje takvi odnosi medju sli- 
ima simbola nazivamo kanali 
E alima sa konačnom memorijom. 
ES BE. dio telekomunikacijskih kanala ima svoj - 
nosti, o. konačnom memorijom, medjutim radi jednostav- 
se o : j 
"sim oteti graničiti na razmatranje jednostavnijih 
<. acionarnih kanala bez memorije, U takvim 
neće biti medjusobn j . 
du, . le og utjecaja znakova u slije- 
Jerojatnost pojave bilo kojeg simbola na bilo 
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kojem mjestu u kodiranoj vijesti ne zavisi o prethodnim 
simbolima, a smetnje u prijenosnom gistemu djeluju na 
promatrani elementarni signal nezavisno od toga, kako su 
one djelovale na prethodne signale. U takvom slučaju će 
se kanal potpuno opisati sa apriornim vjerojatnostima 
p(xi) i uslovnim vjerojatnostima P(Yj/K4)+ Ako je promat- 
rani kanal i stacionaran, tada navedene vjerojatnosti ne 
ovise o trenutku vremena u kojem se kanal promatra. 

Vratimo se izrazu (2.64.). Ustanovili smo, da 
će u stacionarnom kanalu bez memorije, prosječni sadržaj 
informacije koji donosi jedan elementarni signal zavisi- 
ti o apriornim vjerojatnostimna P(xy) i uslovnim vjerojat= 
nostima P(Yy/X4) + Apriorne vjerojatnosti P(xi) karakte 
riziraju strukturu vijesti koje smo kodirali. Uslovne 
vjerojatnosti P(y;/24) ovisne su o fizikalnim karakteris- 
tikama kanala ( forma elementarnih simbola, njihova ener=- 
gije i razina smetnji koje dopiru u kanal). 

Podjimo od toga da su karakteristike kanala poz= 
nate. Postavlja se pitanje: koliki se maksimalni sadržaj 
informacije u principu može prenjeti zadanim kanalom, te 
kakav oblik moraju radi toga imati vijesti? 

Ovaj posljednji dio pitanja može sa formulirati i ovako: 

kako kodirati vijesti, da bi se izvršilo prilagodjenje & 

kanalom,t.j. da se u potpunosti iskoriste mogućnosti koje 
pruža kanal a koje se odnose na brzinu prijenosa infor - 

macije ? i 

Ovako postavljen zadatak pokazuje, da sada ko- 
diranje ima sasvim drugi cilj nego što je to bilo pos = 
tavljeno ranije. U prethodnom razdjeljku smo zaključili 
da je informacije potrebno kodirati ekonomično i postav- 
ljeni su uvjeti za to. Tu funkciju mora ispunjavati ko - 
der informacija. 

Gledano nadalje sa stanovišta sigurnosti prijenosa infor= 
macija problem se postavlja drugačije. Informacije koje 
ulaze u koder signala predstavljene u nekoj standardnoj 
formi ( na pr. u obliku slijeda binarnih znakova 0 i 1) 
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potre bno je prilikom prolaza kroz koder signala tako pre - 
raditi, da bi kanal omogućio pravilan prijenos maksimal - 
nog sadržaja informacije. 

Takva prerada informacije u koderu signala na - 
ziva se, za razliku od ekonomičnog kodiranja koji se pro - 
vodi u koderu informacije, sigurnosno kodiranje informaci - 
je ( kodiranje otporno na smetnje ), koje redovito ne može 
zadovoljiti i uvjet ekonomičnog koda. Medjutim, moramo biti 
svijesni toga, da se sigurnost prijenosa informacije u rsal- 
nim sistemima sa smetnjama, mora nečim i platiti, 

Uvid u odnose izmedju ulazne informacije i karak« 
teristika komunikacijskog sistema, daje nam veličina koju 
ćemo nazvati kapacitetom kanala ( propusna moć kanala ), 
Definirajmo kavacitet kanala kao maksimalnu brzinu prijeno- 
sa informacije koja se može postići izborom optimalne raz - 
diobe vjerojatnosti predaje P(x,) simbola od kojih je vi - 
jest sastavljena, uz zadane fizikalne karakteristike sis - 
tema, Brzina prijenosa informacija može se okarakterizira- 
ti količinom prenjete informacije u jedinici vremena ili 
kolišinom prenjete informacije koja pripada jednom simbolu. 

Promatrajno sada dio sistema prikazanog na sl. 
aj oja dd kojih se vijesti sastoje kao 
ne : < gtimali y; na izlazu prijenosnog 
: Beno) j e e dužine trajanja T =1/F gdje je 
li a i aje simbola, Napomenuli smo, da ćemo 
. o boa a pa m goga tome svi simboli 

, te možemo srednji sadržaj informacije, 


koji dolazi v = 
u jedinici vremena na ulaz ko 
dera signala iz 


BK) = Ze B(X) = PBK) (bit/eok) | (2.65.) 


Ovdje 
je veličina H(X) «predstavlja entropiju ulaznog skupa 
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 gimbola i računa se prema izrazu (2.32,) te izražava 
srednji sadržaj informacije koji se odnosi na jedan sim- 
bol, 

Veličina H(X) ustvari karakterizira izdašnost izvora 
informacije, odnosno pokazuje brzinu sa kojom izvor 
formira informacije. 

Od ranije je već poznato da se prosječni sadr- 
žaj informacije, koji donosi jedan primljeni elementarni 
signal na izlazu može izračunati prema relaciji (2.64.), 
pa prema tome očito slijedi da se prosječni sadržaj in- 
formacije, koji se prima u jedinici vremena može prikaza-, 
ti izrazom: 


LEgrf)=P.I(XG5r) (bit/sek) (2.66.) 


Sada ćemo kapacitet kanala odrediti prema ranijoj defini- 
ciji kao: 


C=MrP.I(K3; I) = 
P(x,) 


P(xy) 


Sama definicija kapaciteta kanala prema izrazu (2.67.) 
pokazuje da je nemoguće postići brzine prijenosa informa- 
cija veće od kapaciteta kanala. Medjutim naša je zadaća, 
da prilikom konstrukcija sistema vodimo računa o tome ko- 
liko se sa brzinom prijenosa možemo približiti onom mak = 
simumu koji pokazuje kapacitet kanala, Za to postoji op- 
ravdanje sadržano u slijedećem važnom teoremu, koji je 
dokazao C, Shannon:" U principu uvijek postoji najmanje 
jedna metoda kodiranja vijesti, pomoću koje se informacije 


Max F hr - axm) (bit/sek) (2.67.) 


Ta 


mogu prenositi sa brzinom, doduše manjom, ali po volji 
blizom iznosu kapaciteta kanala, a da uz to bude vjero - 
jatnost pogreške po volji mala", 

Tako formuliran teorem predstavlja fundamental- 
ni rezultat Teorije informacije, koji se može primjeniti 
na diskretne sisteme, Medjutim, taj taorem konstatira sa- 
mo mogućnost postojanja metode sigurnosnog kodiranja, ali 
ne daje metodu po kojoj se takovo kodiranje može i ostva- 
riti. No do danas su već razradjene mnoge metode sigur - 
nosnog kodiranja od kojih ćemo neka kasnije spomenuti, 

Nakon što smo općenito definirali kapacitet ka» 
nala, provedimo konkretni postupak njegovog izračunavanja 
za binarni simetrični kanal o kojem se ranije govorilo i 
čija je shema dana na slici 2.5. 

Podjimo od općenitog izraza Za kapacitet kana- 
la: 


C = P Max [acx) - sav (2,68.) 
P(x,) 


Pojedine veličine iz izraza (2.68.) već smo ranije izra- 
čunali za binarni simetrični kanal. Izraz (2.46.) pokazu- 
je da uslovna entropija H(Y/X) binarnog simetričnog kana- 
la ne ovisi o apriornoj vjerojatnosti predaje p. Prema t0- 
me će se do maksimalne vrijednosti transinformacije I(X;Y) 
Naprosto doći maksimizacijom entropije H(Y). I taj maksi- 
mum smo već ranije izračunali i on će biti postignut sa 

P= 0,5, t.j. kada su simboli jednakovjerojatni i nezavis- 
ua Tada maksimum iznosi I bit. 


N 
& taj način dolazimo do izraza za kapacitet binarnog si- 
metričnog kanala: 


C= I 
P E + PoldPo + a-npraa-ry] (bit/sek) (2.69.) 
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Relacija (2.69.) pokazuje da će kapacitet binarno simet- 
ričnog kanala postići svoj maksimum kada u sistemu nema 
pogrešaka (P_=0), i on će iznositi O, = F(bit/sek). Na 
slici 2.11. grafički je prikazana Zavisnost 6/Cm o vje- 
rojatnosti pogrešnog prijema Pa: 


C/e,, 40 
0,8 
0,6 
0,4 
0,2 


[e] 





0 02 0,4 0,6 0,8 108 


51.2. 1. Kapacitet binarnog simetričnog kanala 


Nadalje je potrebno napomenuti da je postupak 
proračuna kapaciteta kanala jednostavan samo za jednos- 
tavnije modele kanala, dok je općenito dosta složen. 08- 
novni razlog za to je, što se proračun maksimuma I(X;7) 
mora provesti uz odredjena ograničenja: vjerojatnosti 
predaje (apriorne vjerojatnosti) moraju biti pozitivne 
veličine i njihova suma mora biti jednaka jedinici, 

Promatrajno u nastavku kanal u cjelini ( slika 
2,12., koder signala, prijenosni sistem, dekoder signala). 
Radi jednostavnosti promatranja, neka to buđe binarni si= 
metrični kanal. U tom slučaju koder signala i dekodar 
signala transformiraju jedan slijed binarnih simbola u 
drugi slijed binarnih simbola, Osnovni j& zadatak te tran= 
sformacije, da se na izlazu dekodera signala pravilno 
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reproducira upravo onakav slijed binarnih simbola kakav 
je bio predan na ulaz kodera signala, 


Koder Dekoder 
sQnala 





51.2.12. Binami simetrični kanat 


Iz ranijih razmatranja proizlazi da nam je za 
odredjivanje jednog binarnog simbola u slijedu, gdje je 
Pojava simbola nezavisna, potreban sadržaj informacije od 
jednog bita. S druge strane, kapacitet kanala, koji se od- 
nosi samo na jedan elementarni binarni simbol iznosi: 


Ci= E + PoldPL+ anpua-ry) (bit/simbol) = (2.70.) 


IZ izraza (2.70.) vidljivo je, da je kapacitet kanala ko- 
di se odnosi na jedan elementarni simbol uvijek manji od 
jednog bita u realnom kanalu, uz postojanje pogreške. Ka- 
Matta, prolaskom kroz sistem nastupa degradacija in - 
. Ta te u takvom slušaju do dekodera signala dolazi 
di M ijimesn informacije. Prema tome, da bi ge vijest 
. Sastoji od K informacionih binarnih simbola mogla 
\ o reproducirati na izlazu dekodera signala, potreb- 
8 predavati K = K +& binarnih elementarnih signala 
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na izlazu kodera signala, tako da bude KI>K, odnosno 


k/Ku L Ci (2.71.) 


Iz takvog razmatranja jasno proizlazi, da se 
u izrazu (2,71.) postavljen zahtjev protivi zahtjevu za 
optimalni kod, Medjutim, kod stvaranja optimalnog koda ni- 
je se vodilo računa o karakteristikama kanala, kojima tre- 
ba signale prilagoditi. Da bi optimalan kod postao 1 ot - 
poran na djelovanje smetnji, potrebno mu je prolaskom 
kroz koder signala dodati odredjeni broj elementarnih sig- 
nala. Ako se od riječi koje sadrže K binarnih znakova mo- 
že načiniti 2K različitih slijedova vijesti (ulaz kodera 
signala), a od riječi sa K, binarnih elementarnih signa - 
la 2 U različitih slijedova signala (izlaz kodera signa- 
1a), primječuje se da će u skupu signala biti veća slobo- 
da izbora u odnosu na skup binarnih simbola na ulazu ko - 
dera signala. U tome se i sastoji princip sigurnosnog ko- 
diranja, čiji je osnovni cilj da se vijesti pretvore ta- 
ko u signale, da se osigura izbor od 2 “ mogućih slijedo- 
va signala 2K slijedova tako, da vjerojatnost pravilne 
reprodukcije vijesti na izlazu dekodera signala, bude mak- 
simalna. 

Prema toma će, ako je kos K+ Kk), Kk, Predstavlja- 
ti zalihostne (redundantne) signale u odnosu na optimalni 
kod. 

Dodavanje zalihostnih signala omogućuje uvodje- 
nje takovih pravila kodiranja, koja će osigurati ne samo 
otkrivanje pogrešno primljenog informacionog signala vi- 
jesti (t.zv. "error detecting codes"), nego i ispravlja- 
nje, tako da se na izlazu dekodera signala za pogrešan 
signal dobiva pravilan simbol (t.Zv. "error correcting 
codes"). . 
Razmotrimo principijelno sintezu sigurnosnih ko- 
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dova, te u tu svrhu uvedimo kvantitativnu mjeru za.. 
koda u obliku: 


gdje je N broj vijesti koje treba kodirati, 

Radi lakše predodžbe primjenit ćemo geometrijsku inte: 
pretaciju kodova. 

Kodna riječ koja se sastoji od K, simbola, može se prika = 
zati koordinatama dy (koje mogu imati vrijednosti 0 ili 1) 
u Kk dimenzionom prostoru Ex. Kada je La = 5 prostor se 
može sasvim pregledno prikazati. u tri dimenzije. Ako sa 

fi. xi x označimo koordinate prostora E,, tada vrhovi 
kuba mogu biti označeni brojevima 0,1,2 ..e. 7, Ako sva - 
kom od tih brojeva pridjelimo normalni binarni ekvivalent, 


tada će na pr. koordinate vrha 7 biti: xIi=l, xo=1, xs=1 
(slika 2.12.a). 





12.2 Geometrijski prikaz koda 
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Želimo 1i pomoću koda sa K,=3 kodirati četiri vijesti 


(ur» uo» u; i uy), tada će u kodu postojati zalihost: 


rea u =0,5= 50% 


Naš je cilj da tu zalihost iskoristimo za sigurniji pri- 
jenos informacija. 

Gledano geometrijski, potrebno je na pogodan način odab- 
rati one vrhove kuba, u koje ćemo smjestiti naše četiri 
vijesti. U tu svrhu uvedimo pojam udaljenosti (distance) 
dvaju vrhova, kao najmanji broj bridova koji ih dijele. 
Na pr. udaljenost vrhova 11 7 na sl. 2.12.a. jednaka je 
2, Udaljenost izmedju dva vrha označavat ćemo sa daj» Ako 
sada pridjelimo informacijama one vrhove kuba čija uda - 
ljenost je 2, moći ćemo načiniti kod u kojem je moguće 
otkriti jednostruku pogrešku, Sasvim je jasno da je mogu- 
će načiniti više takovih kodova zavisno od toga koji vrh 
odaberemo kao početni. 





4.2126. Gigurnosni kod sa distancom 2 


Jedna mogućnost prikazana je na sl. 2.12.b., a u tabeli 


m 


dan je odgovarajući kod, 





Svojstvo dyj72 u ovom slučaju znači, da su kodne komplek- 
gije tako odabrane, da se one razlikuju u dvije znamenke. 
Drugim riječima, nastupi li prilikom prijenosa jednostru- 
ka pogreška u kodnoj riječi, time nastaje nova kodna ri - 
ječ, koja nije pridodana ni jednoj drugoj vijesti (zali - 
hostna riječ). Na pr. ako kod prijenosa vijesti us nastu- 
pi pogreška,te se kodna kompleksija primi kao ool, prijem- 
nik će detektirati pogrešku, ali neće moći ustanoviti ko- 
ja je vijest pravilna, jer je primljena kompleksija ool 
mogla nastati ili od 1ol ili od oll ili od ooo, 

Jasno je da će dvostruka pogreška u jednoj ri - 
ječi pretvoriti je u drugu, koja je takodjer pridodana 
jednoj vijesti, Prema tome takav kod omogućuje otkrivanje, 
ali ne i ispravljanje jednostruke pogreške, 

Razmotrimo dalje slučaj, kada sa istim kodom 
Želimo kodirati samo dvije vijesti. Tada je P = 100%. U 
inje nošeno odabrati dij=3. Sada će jedna pogreška 

eči dati riječ koja je od izvorne udaljena za 
ME o4 evin drugih, koje su primjenjene za kodiranje 
< al učaju je to samo jedna) za d=2, 
me će takav kod imati mogućnost: 
1. da ispravi jednu pogrešku. 
Na pr. odaberimo kod prema tabeli: 
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Ako je primljena riječ lol, očito je pravilna in- 
formacija Ill, uz prstpostavku da je nastupila samo jadna 
pogreška, jer kompleksije ool i 100 u odabranom kodu nemaju 
značenje vijesti. 

2, da otkrije dvije pogreške, bez mogućnosti da ih 
ispravi. 

Na primjer riječ loo mogla je nastati od riječi 
111 uz dvostruku pogrešku ili od riječi ooo uz jednostruku 
pogrešku. Prema tome mi možemo samo konstatirati, da je pog- 
reška nastupila, ali ne možemo ustanoviti pravilnu informaci. 
ju. 

Svojstva kodova razmatrana na Ku"3 možemo primje- 
niti na opći slučaj. Dakako da je tada geometrijski zor kon- 
pliciraniji i zahtjeva uvodjenja višedimenzionalnih prostora, 
Općenito, ako je u Ka dimenzionalnom prostoru Pxu udaljenost 
(distanca) izmedju dviju tačaka, koje predstavljaju slijed ol 
N simbola 0,1,..e. N=-1l, poredanih u prirodnom redu, jednaka 

d » tada kodne kompleksije koje su iskorištene za kodira- 
nje simbola, čine podprostor u kojem je uđaljenost izmedju 
ma kojih dviju tačaka jednaka d ., 

Prema tone vrijedi za bilo koje dvije kodne riječi ki i ki 
da je d,, > d. Ako u kodnoj riječi M, nastupi jedna pog - 
reška, tada će to dovesti do pogrešne riječi Mj, koja je 
udaljena od pravilns za jedinicu, a od svih ostalih riječi 
Za najmanje d - 1. Iz toga proizlazi da je očito moguće ot- 
kriti jednostruku pogrešku čiji nastup dovodi do pojave tač“ 
ke koja je za oC udaljena od riječi M,, ako je ispunjen us 
lovi 


d- «GC 2% 1 


Na taj način vidimo da je maksimalni broj pogre- 
šaka koje možemo otkriti jednak dd - 1. Takav kod može 


dakle otkriti prisustvo cl - 1 pogrešaka, ali kod toga mož* 
ispraviti samo -5- - 1 pogrešku ako je d parno ili “a , 


4 
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ako je d neparno, Tablica pokazuje za neke vrijednosti distan- 
koliko je moguće pogrešaka otkriti i ispraviti. 


MOGUĆNOSTI 
OTKRIVANJA | ISPRAVLJANJA 


66, 









MINIMALNA VRIJEDNOST 
DISTANCE d 





Iz gornjih razmatranja proizlazi, da je uvijek mo= 
guće binarno kodiranje informacija takovim kodom, koji u sebi 
sadrži svojstva koja omogućuju otkrivanje i ispravljanje po- 
grešaka, 

Postoji i niz drugih metoda Za sintezu sigurnosnih 
kodova od kojih je najpoznatija Hammingova. Uvid u tu metodu 
najlakše se dobije preko primjera, zato će ona biti primje - 
njena u primjerima 2,9, £ 28. 

Iz predhodnih razmatranja može se zaključiti, da se 
kod sigurnosnog kodiranja, za razliku od optimalnog (ekonomič- 
Og) kodiranja, na svaki blok od K simbola vijesti specijalno 
Putem kodera signala dodaje K, dopunskih, redundantnih, sim- 
bola s namjenom da se neutralizira štetno djelovanje smetnji. 
m Proces sigurnosnog kodiranja možemo obrazložiti još 

9& aspekta. Ranije smo pokazali fizikalnu interpretaci- 


ju transinformacije [izrazi (2.41.) i (2.42.) te slika 2.5] 
ža Sistem sa smetnjama: 


Ep = E(K) - K(I/) 


tj. 
(ia Se kroz sistem u kojem djeluju smetnje ne može pra - 


ok M orupaa količina informacije koju generira izvor, već 
Va umanjena za iznos ekvivokacije (promatrano sa strane 





























s B6 


izvora informacije). 
Saznavši na taj način, da prisustvo smetnji uvijek 


smanjuje količinu informacije koju generira izvor, možemo na 
pogodan način prolazom informacije kroz koder signala sadr - 
žaj informacije uvećati (na pr. stvaranje paritetnog kođa), 
te na njegovom izlazu dobivamo novi sadržaj informacije: 


H'(X) = HX)+HE (K/X) (2.72.) 
Sadržaj informacije uvećamo upravo za toliko, koliko očeku« 
jemo da će biti istisnuto uslijed smetnji. 

Smetnje na jednak način djeluju i na tako uvećani sadržaj in- 


formacije te će transinformacija iznositi: 


Hp= H'(KX) - E (K/A)=B(K)+ E (K/1) - E (ZAD=BE) = (2.73.) 


Prema tome gornju relaciju možemo prikazati i grafički (slika 
2.13.)« 


W'(x1y) (5/9) 
ska) > pm 7 H,=H(x) 








S1.2.13. Traneinformacija uz smvrnosno kodiranje 


Entropiju izvora uvećali smo za veličinu H!(X/f), 
koja će služiti za osiguranje sada ukupnog sadržaja E'(X)= 
(X) + H'(I/Y). Iz tako osiguranog sadržaja informacije de - 
koder signala će usprkos djelovanja smetnji moći odvojiti 
sadržaj Ha H(X) a ostatak izobličen smetnjama odbaciti, te 
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će tako na odredišta stići upravo ona količina informacije 
koju je predao izvor, 

Na primjer sistem za prijenos informacija s opti - 
malnim sigurnosnim kodiranjem, moža raditi na slijedeći načina, 
Informacija, koju generira izvor pretvara se u digitalnu for- 
mu, te se od nje stvaraju blokovi od po K binarnih znamenaka, 
U takvoj formi dolazi na ulaz kođera signala, Tehnička iz - 
vedba kodera signala je takova, da on po ranije odabranom 
pravilu kodiranja odredjuje koliko je potrebno dodati zalihos- 
tnih signalnih simbola ki kodnoj kompleksiji. Ukupni slijed 
od La K+E, sSignalnih impulsa prenosi se nakon toga prije- 
nosnim sistemom, 

: Na prijemnoj strani prijenosnog sistema poznate su 
sve vijesti, koje su mogle biti predane po kanalu, U slijeđu 
primljenih signalnih impulsa, biš će dio njih izobličen usli- 
jed djelovanja smetnji do te mjere da se na mjestu impulsa mo- 
že pojaviti pauza i obrnuto, Nakon prijema kodne kompleksije 
ovako predstavljene slijedom signalnih impulsa, dekoder sig - 
nala odredjuje moguću digitalnu vijest, koja se od primljene 
Tazlikuje najmanjim brojem simbola, Ta se vijest prihvaća kao 
vijest, koja odgovara onoj predanoj. 


>. 1 Ovako primjenjena procedura kodiranja osigureva naj- 
Ju vjerojatnost da se bilo koji primljeni informacioni sim- 


bol Prihvati kao pogrešan. Na izlazu dekodera signala uvijek 
Se Pojavljuje odredjeni slijed impulsa koji predstavlja digl- 
talnu vijest. 
. 1 Mnašrani ozona teorem o sigurnosnom kodiranju 
2 ra a prijenos sna u kojem djeluju smetnje, pokazu- 
o. *" proša prijenosa informacija bliska kapacitetu ka- 
aa m pa sstansk nastupa pogreške u odredjivanju sva- 
kod m a vijesti, uvijek može postići, bez obzira što je 
a anja bloka broj simbola K dosta velik, Može se ta- 
i i da za slučaj optimalnog kodiranja, vjerojat- 
og odredjivanja predavane vijesti pada po skspo- 


Mencija1 
nom zak 
Bi Kk, onu sa porastom dužine prenošenih signala 
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Sa tehničke strane treba napomenuti da će s6 sa po < 
rastom Ki Ka bitno komplicirati sklopovi kodera i dekodera Sia 
nala, Osim toga povećavat će se vrijsme kašnjenja informacije 
prolazom kroz sistem, jer će kod svake pretvorbe koda kiti pot 
rebne zapamtiti čitavu sekvencu prija predaje u slijedeći blok 
sistema, To su glavni razlozi, što se u današnje vrijeme još na 
primjenjuju svs pogodnosti prijenosa informacija na koje ukazuj, 
teorija. Medjutim za očekivati je, što pokazuje i nagli razvoj 
tehnologije sklopova, da će u najskorije vrijeme biti moguće ox 
tvariti metoda koje pokazuje teorija, a da ono ujedno buđu i 
ekonomična. 

Postupak sinteze jedne vrste sigurnosnog koda pokazat ćemo na 
slijedećim primjerima. 


PRIMJER: 


2,7. Za optimalno kodiranje vijesti u primjeru 2.6. izvrši 
ti osiguranje od pogrešaka prilikom prijenosa dodavanjem 
odgovarajućih zalihostnih bita pomoću kojih se moža otkri- 
ti i ispraviti jednostruka pogreška, 


Rješenje: 


Koder 
fniformacija 


Kodđer 


vor signala 


U,,llo. Uo optimalni Sigurnosni 


“kod k 


5(.2.44. Uz primjer 2.7. 


Izvor informacije serijski generira .moguće vijesti ug..* k 
Prema veličini vjerojatnosti pojavljivanja koder informać 
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VT 


ja (sl. 2.14.) pridodaje svakoj vijesti duži ili kraći kod, 
koji je dobiven ranije pokazanim postupkom optimalnog kodi- 
ranja. Taj kod prikazan je tabelom 2.4. 


u1 lo 
u2 o1 
u3 920 
ua +111 
us lio1l 
ug lloe 

TABELA 2.4. 


Promatramo li proces prijenosa vijesti, tađa za 
odredjeni slijed vijesti uy na ulazu kodera informacija, 
na njegovom izlazu se pojavljuju serijski "1" i "0" u od = 
govarajućem rasporedu, Na primjer: 





ulaz us u5| u1lj u2 u1 us u2 pri it.d. 
1234/5617 81/9 10[11 12113 14/15 16117 18 19 
izlazlllolloollLolo1li olo ola i1l1 1 1lit.a. 




















IZ ovakovog slijeda "jedinica" i "nula" uvijek je moguće 
kei Primarne vijesti, budući je kod reverzibilan ka- 
Kid to ranije pokazali. Potrebno je jedino jednoznačno 
Vati početak slijeda vijesti, 
Medjutim znamo da gu informacije kod prolaza 
old ikacijski sistem podložne utjecaju smetnji naro- 
BEK Jenosnon sistemu, Smetnje mogu biti takove, da 
di ka pretvaraju u nule, i obrnuto nula u je - 
za a stpostavimo, da je gornjem primjeru umjesto pre- 
2, Primljen slijedeći: 
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1235 415 617 819 10]11 12[13 14115 16117 18119 
lilollo lik vla 11|1 alo o|9 1/1 0o[1 «e... 


us u, "1 uo đ1 us u2 kT 


Obrnutim postupkom - dekodiranjem po tabeli 2,4. dobili 

bi slijed vijesti prikazan u drugom retku. Vidimo, da sa 
radi toga što je nastala pogreška na dva mjesta (6.,18,) 
primljeni slijed vijesti razlikuje od predanog. Prema tome 
postojeći kod nema nikakove mogućnosti da se suprostavi 
smetnjama. 

Radi toga je potrebno informacije prije predaje na prije- 
nosni sistem prikladno osigurati. Ranija razmatranja o si- 
gurnosnim kodovima pokazuju, da je to jedino moguće doda- 
vanjem novih elemenata koda. 

Ovdja ćemo primjeniti metodu t.zv. paritetnog is- 
pitivanja koda (metoda po Hammingu). Sam opis metode poka- 
zat će njenu suštinu, a na navedenom primjeru ćemo pokaza- 
ti način primjene. 

Pretpostavljamo, da se pogreške koje nastupaju 
ne dešavaju suviše često, Neka je razmak izmedju dvije pog- 
reške barem sedam binarnih znakova. Tada se izvorni slijed 


binarnih znakova podijeli u grupe (blokove) po četiri bez 
obzira na granice pojedinih vijesti: 


II. 
oolo 


III. 
ollo 


I. 


| ls 
2o,o1l 


llol 














<Ill....e 


U svakom se bloku tako nalaze po četiri informaciona bita 
tim, m; i ma - 

Dodavanjem kontrolnih bita u svakom bloku proširit ćemo 
broj mjesta za k, na kojima može takodjer nastupiti pog- 
reška u toku prijenosa. Zato je potrebno kontrolirati i in- 
formacione i kontrolne bite pomoću kontrolnih. Prema tome 
kompleksije kontrolnih bita moraju svojim dekadskim skvi- 
valentom moći označiti sva m + k mjesta u jednom bloku, 


a 9 
Radi toga je broj kontrolnih bita dan relacijom: 
kŽ MWH(nm+k+1) 


Kompleksija kontrolnih bita sastavljena od samih "nula" 
označavat će da pogreška nije nastupila. 
Za naš slučaj: 


kŽ I4(4+k +1) —o k=3 


Prema tome sa 5 bita možemo označiti sva informaciona i 
kontrolna mjesta 


0. 1. 2.3.4. 5.6. 7. 
k1 2101021061 


ko oe i11o. 9011 

ks Doe *l1111 

U svrhu kontrole primjenit ćemo svojstvo parnosti zbroja 
binarnih znamenaka na odredjenim pozicijama, Radi toga je 
Potrebno prilikom predaje tako prilagoditi kod, da suma vo 
modulu dva izmedju znamenaka na odabranim mjestima bude je 
gera nuli, Kontrolni bit ki može nam odrediti pogrešku na 
mjestima 1.-5.-5.-7., ko na mjestima 2.-3.-6.-7. i k, na 
mjestima 4.-5,-6,-7, : 

Prema tome treba i prilagoditi primarni kod tako, da se na 
MRirinoj strani prilikom kontrole mjesta sa kp» ko ik 

; aju tako kontrolni biti da suma po modula dva hude ia 
&k jednaka nuli. 

Badi toga 
formacione 

kod svake 

TOrmacionim 


je potrebno na odgovarajući način razmjestiti in- 
i kontrolne bite na poziciona mjesta tako, da se 
ontrole nadje samo jedan kontrolni bit medju in- 


an : . 
8Š primjer razmještaj će biti slijedeći: 




























































pram 






kontrola 
2-3-6-7 
kontrola 
4-5-6-7 
Novi kod za 
zi. blok 















kontrola 
1-7-5-7 
kontrola 
2-3-6-7- 













kontrola 
4-5-6-7 


Novi kod za 
blok BB PRN 













m. vio rramšnanng 
kontrola 

1-5-5-7 1 

kontrola 

2-3-6-7 1 1 
kontrola 

4-5-6-7 lji 


Novi kod za 
blok III. 1 1 1 





kontrola 
1-3-5-7 


kontrola 


kontrola 
4-5-6-7 
Novi kod za 
blok IVY. 





Postupak sa sastoji u tome da se kod svake kontrole na 
mjesto kontrolnog bita stavi takova znamenka, da suma po 
modulu dva medju znamenkama na kontrolnim mjestima daje nu- 
lu. Sve tri kontrole daju vrijednosti kontrolnih bita, ta- 
ko da sa novi kod za svaki blok sada sastoji od 7 elemena- 
ta, Prema tome, umjesto prvobitnog slijeda, za koji sme 
vidjeli da je neotporan na smetnje, na prijenosni sistem 
predajemo novi slijed: 


Ia 
lololol 








IL. pini Pia 
olololollioollo Šeta Pee 


Dobiveni slijed je znatno duži od prvobitnog, ali zato on 
U sebi sadrži mogućnost otkrivanja i ispravljanja jednostru- 
ke pogreške. 

Kako se to otkrivanje i ispravljanje pogrešaka 
Provodi? Neka je na pr. pod utjecajem smetnji prolazom 
kroz Prijenosni sistem nastupila pogreška na 5. mjestu II. 


bloka, te je na prijemnu stranu umjesto predanog slijeda 
Stigao slijed: 


ui. 
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lololol ololilo lloollo llolool .... 


Prijemnik dakax:+ ne može unaprijed znati da je pogreška nastu- 
pila, zato on provodi kontrolu, Prijemni slijed razbija na blo- 
kove od po 7 znakova i u svakom bloku provodi kontrolu pariteta: 


1. 2. 3. 4. 5. 6. 7. 


Primljeni ' 
I. blok lolo 1 901 7] Rezultat kontrole 
kontrola 
1-3-5-7 1 1 1 1 o 
kontrola 
2-3-6-7 o 1 91 o 
kontrola 
4-5-6-7 ol o1 o 
Informacija 
sadržana u 
I. bloku 1 lo 1 7 Rezultat kontrole je 000 


dakle prvi blok je primljen pravilno. Kontrolni biti 


ge sada mogu odbaciti i informacija sadržana u prvom blokuglasi: 


llol 


Sada se pristupa kontroli II. bloka, 


1. 2. 3. 4. 5. 6. 7. Rezultat kontrole 
Primljeni 
Il. blok olo1l111l1 


kontrola 
1-3-5-7 o 9 1 o 1 
kontrola 
2-3-6-7 loo loo o 


kontrola 
4-5-6-7 111 o 1 
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Ispravni 
II. blok 0le1lo i ae 7 Pogreška je na 5. mjestu 
Informacija 
gadržana u 
II. bloku o o 1 oo 


Kao što vidimo za II. blok ne zadovoljava kontrola 
pariteta 1-5-5-7 i 4-5-6-7, te kao rezultat za te kontrole bi- 
lježimo 1, Rezultat kontrole čitan odozgo prema dolje, daje 
redni broj mjesta na kojem je nastupila pogreška. Budući da je 
sistem binaran, čim smo saznali gdje je vogreška nastupila mo- 
žemo je odmah i ispraviti - cifru koja se nalazi na tom mjestu 
zamjenimo - konkretno u našem primjeru pravilno ja da na 5, mjes- 
tu bude nula a ne jedinica, 

Kontrola po istom postupku provede se za svaki blok. 

Radi ilustracije, razmotrimo principijelno sklopov- 
Ski sastav kodera i dekodera signala koji provode gore iznese- 
nu sintezu i analizu paritetnog sigurnosnog koda. 

Informacije u obliku optimalnog koda dolaze od kodera 
informacija na ulaz kodera signala, u neprekinutom slijedu. 
Prva četiri bita u slijedu ( blok I. ) preko sklopa za razdva- 
janje SR (sl. 2.15.) ulaze u memoriju I. koja se sastoji od 7 
memorijskih elemenata. 

Informacioni biti bloka I. upisuju se u memorijske 
Slementa ml, i mi. Sklop Za razdvajanje SR usmjerava 
Slijedeći blok od Četiri informaciona bita u memoriju II., a 
istovremeno kontrolni sklop I. započinje sa ispitivanjem sadr- 
žaja memorije I. Kontrolira se paritet elemenata upisanih u me- 
POrdji 1 rezultat se upisuje u memorijske elemente predvidjene 
ZE kontrolne bite, prema jednadžbama: 


kh =a 0 os 
kh=-nmOnoĐa, 
k =n9 u Đ na 

































































- 9% - 






Kontroini sklop 7 






Prema prijen 
Sistemu 


Jd kodera 


inform. 


Kontrolni sklap I 





4.2.16. Kođer signala za paritetu kod 


Nakon što se čelije ki ka i k, ispune odgovara - 
rajućim rezultatima memorija I. sadrži novi sigurnosni kod za 
I. blok. Sadržaj memorija se iza toga serijski očita i preko 
sklopa za sastavljanje SS pošalje na prijenosni sistem. Memori- 
ja I. je nakon toga spremna za prijem nove informacije. Sva so 
to zbiva za vrijeme dok memorija IL prima informaciju sadržanu 
u II. bloku. Informacija III, bloka bit će upisana u I. memori“ 
ju koja je u medjuvremenu izvršila svoju funkciju, a za to vri" 
jeme izvršit će ga obrada informacije sadržane u memoriji IL. 
istin postupkom kakav je opisan za memoriju.i. 

Sa prijenosnog sistema dekoder signala prima slijed 
signala sastavljen od 6, i 1. Prvih sedam bita (blok I.) preko 
sklopa SR (sl. 2.16.) upisuje se u memoriju I., nakon čega sli“ 
jedeći blok sklop SR prebacuje u memoriju II. Za to vrijeme na" 
tupa obrada u memoriji I. primljene informacije. 
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Sklop fza ispitivanje 
pariteta 1 ispravljanje 
pogrešaka 








K đdekoderu 


informacije 





Sklop I za ispitivanje 
pariteta i ispravljanje 
pogrešaka 





5.2 16. Dekođer signala za paritetni kod 


Sklop za ispitivanje pariteta provodi tri ranije opisane kon - 
trole. Ako je rezultat 000, blok je primljen bez pogreške. U 
Protivnom, kompleksija odredjuje mjesto gdje je nastupila pog- 
Teška i sklop za ispravljanje pogrešaka djeluje na memorijski 
8lement koji odgovara tom mjestu i mijenja njegovo stanje, što 
ujedno i znači i ispravljanje pogreške, 
Iz memorije I, se nakon toga očitaju samo informacioni biti 
Bri predaju preko sklopa SS dekoderu informacije. Ken= 
nja ovi ki - k su za daljnju obradu repotrebni, te se 
ME a : Sve ove radnje moraju se završiti za vrijeme dok me- 
Mu KL . prima II. blok. Nakon toga nastupa obrada informaci- 
Oriji II. a memorija I. prima III. blok. 


š Ovaj primjer lijepo ilustrira već ranije iznesene 
injenice: 















































- 98 - 


optimalni kod nije sigurnosan 
sigurnosni kod možemo postići dodavanjem redun- 
dant ih bita 

povećanje sigurnosti prijenosa ida na račun po- 
većanja vremena potrebnog za prijenos 

uslijed dodatnih obrada informacije u koderu i 
dekoderu signala nastupa kašnjenje informacije 
sigurnosni kod zahtjeva kompliciranija sklopov- 
ska rješenja kodsra i dekodsera. 


Na kraju treba spomenuti da tako odabrani sigurnosni 
kod može ispraviti same jednostruku pogrešku unutar bloka, Pro- 
ma tome to nam ujedno daje kriterij za odredjivanje dužine blo- 
ka. Blok mora imati toliku dužinu, da je vjerojatnost da nastu- 
pi više od jedne pogreške unutar bloka sigurnosnog koda blizu 
nule, Jasno je, da će za češće pogreške blokovi morati biti kra- 
ći, što zahtjeva i relativno veći broj kontrolnih elemenata, 
Slijedeća tabela pokazuje koliki mora biti broj kontrolnih ele- 
menata k za osiguranja m informacionih elemenata: 





Sa povećanjem bloka relativni odnos k/m postaje sve manji, ali 
time raste i vjerojatnost da se unutar bloka pojavi više od 


jedne pogreške. 


PRIMJER 


2,8. Neka je informacija pisanog jezika sa zalihosti 
izvora prikazana tekstom: 


= 


< 09. 


VIJEST TREBA PRENOSITI BEZ GREŠKE 


Treba izvršiti najprije optimalno kodiranje toga sli- 
jeda, a zatim vijesti osigurati primjenom Hanmingovog 
koda . 


Rješenje: 


Stvarni sadržaj te informacije dobit ćemo 
upotrebom optimalnog koda za neš /hrvatsko-srpski/ je- 
zik ( vidi 1it. [12] 1 razdjeljak 2.6. ) gdje je zali- 
host reducirana prema frekvenciji znakova(tabela 2.4.) 


Rkelo U vosle Š ovollle 

A lol M lool Č evellli 
B1l1l11 D e1111 C eeeellove 
D .eo.e V lo.el1l H o ollel 

I olle L lovooo Ž l1loloov | 
N lloo K loovi Č lloloolo 
s oollo Pllol1l Pllolovl1li 
Š oov1l1l1 & ollloo 
R 0ooloo Bolllilov1l Rk razmak izmedju 
T oovlo1l Z llolv.i riječi 

TABELA 2,4. Optimalni kod za hrvatsko-srpski jezik 


Zadani tekst kodiran tim optimalnim kodom izgleda ovako: 


loo 


llollooviloli looll1l 
A : 2 ololoovov1 0.1 ooloolllolilovl 
E. B : ollolloo lo ollllžilvoovoovo 
«daj olloovlolollo olo 
s Ol1lllilololoiloos illoo 
20l1lllooelllovlovo ollll 
iko Napišemo ovako skraćeni stvarni sadrža kodirane 


ki. 
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informacije na izvoru prema internacionalnom kodu br. 2 
(tabela 2.1.) onda optimalno kodirani tekst imade ovaj 
slijed znakova. X 


BIPYWRJ razmak Q brojke R brojke razmak slova 
komb. 32 OFHIBXQRC CA 


Drugo kodiranje u svrhu prilagodjenja infor - 
macije kanalu odnosno prijenosnom mediju izvršit ćemo 
prema kodu sa sposobnostima otkrivanja i korigiranja 
greške po HAMMINGU. 

Izvršimo to za kod od 4 elementa (tabela 2,5.) 
prema slijedećem pravilu: 


oo o%090 co oQ 
MH r-ro oo o 
Hrnoo ro o 
oro roHo 
Qro rroro 
QHHoo ro 
Qoooo0o090 
Hooro ro 
mH rrHooo o 
HH -oorro o 
oro roro 
rr Pir 
Qoo0o0o0r rr 
Qo nrg or EH 
oro ro Ho H 
ho2rHoo ro PH 
hnoo rroo H 
H-B BH 
Qi ro roo EH 
Q2ooorrrr 
Q2orroorH 
O Horo ro H 


PABELA 2.5. Hammingov kod za blokove od četiri elementa 


Informacioni elementi dolaze na 5., 5., 6. 1 
7. mjesto Hammingovog koda, a 1., 2. 14. mjesto ispu - 
nit ćemo korisnom zalihosti, t.j. kontrolnim bitima. 

Kod sastavljanja novog koda primjenit ćemo 
istu metodu kao u primjeru 2.7. Zbroj 4., 5., 6. i7. 
mjesta mora biti paran, Zatim prelazimo na drugo mjesto, 
t.j. zbroj 2., 3.) 6. i 7. mjesta mora biti takodjer pa- 
ran i konačno kod 1. mjesta zbroj 1.) 3.) 5.» 7. mjesta 
mora biti isto paran. 

Na potpuno jednak način vrši se kontrola prim- 
ljenog slijeda elemenata u prijemniku. Trostruka kontro- 
la tog slijeda od sedam slemenata daje potreban podatak 


o mjestu greške, a time je osigurana i mogućnost korekcije» 


di 
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Izvedimo sada kodiranja za naš pisani tekst i raspo - 
redimo ga u grupe po četiri slementa, 


vol loll voo1l loll 
oglloolollooFflilolocslolloes#li 
me > o 1 
ol lloo lolo looo 
oolloololflloolollofvlililoovo 
o o 
lolo oloo lillo lilo 
lolil&loilfgfolioovooFKollovolol1lilo 
l l o 
llol olol lol1l oolo 
lolslololoololvililovoflolololo 
1 o 
olll loo 0,oo vol1l 
00l1IIYolllloovoovosgsovolovog1i1i 
o l 1 
lol1l 2o,o,1 olol lool 
oLllođslililoloololovofolvollov1i 
1 o 
ol lol1l Lili olo1l 
loogollollosilililiilrloilovolovi 
1 1 o 
Oloo lllo 00,01 0o1l1 
lo/lioovoloflollolooviliovovori 
1 o o 
lovo 1110 looo l1l11 
llloogsooololrfolilloovolii Yl11 


1 o : o 


k, U ovome slijedu nastale su pri prijenosu 24 
Ške, Prikazani slijed prema internacionalnom kodu 
* 2 sadrži ove znakove: 


NGEMSFIWVEYAGRIH 






































mentina 1 
bi slijed 
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ZPRSIBREK K komb. 352 
OIKDDBNO I slova K DY 
FFJIMA brojke E slova 


Nastupa li greške označene na prekriženim ela- 
to kod jednog od sedam elemenata u bloku, ovaj 
u prijemniku predstavljao slijedeće znakova: 


0 GOSPFUWGEZA G brojke 
ITZPOSTITZREUKT M 
PKDEBNGPslova S DJ B 
DJIOV BEQ 


Izbrojimo li greške u tom tekstu od 50 znako- 


va, onda dolazimo bez korekcije do poraznog rezultata od 
25 greške, 


Ako medjutim pristupimo korigiranju po metodi 


Hamminga onda će nestati sve greške, a tekst će bez ko- 
risne zalihosti biti jednak stvarnom sadržaju informaci- 
je izvora. 


Nakon odbacivanja suvišnih elemenata pretvara- 


mo konačno informaciju u izvorni tekst - t.j. 


VIJEST TREBA PRENOSITI BEZ GREŠKE 


pr 
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2,5. Statistička svojstva jezika 


Primjenimo nadalje osnovne postavke Teorije in - 
gormacije na konkretni oblik vijesti, pisani tekst nekog jezi- 
ka. 

Možemo smatrati, kako se to uzima na pr. u tele - 
grafskom alfabetu, da se hrvatsko-srpski alfabet sastoji od 
N= 27 znakova, gdje je uključen i znak za razmak medju riječi= 
ma, Kada bi se svi znakovi alfabeta u tekstu pojavljivali sa 
jednakim vjerojatnostima, tada bi se nakon prijema jednog zna- 
ka dobio sadržaj informacije jednak informacionom kapacitetu =1- 
fabeta koji se odredjuje prema izrazu (2,34.) H.=ld 27=4,76 
bit/znaku. Kod toga bi kod predaje vijesti koja sa sastoji od 
M znakova bilo potrebno M, m binarnih simbola. 

Medjutim u konkretnom slučaju jezika razmatranja 
moraju biti drugačija. Niti u jednom jeziku nije ispunjen uslov 
jednake vjerojatnosti pojavljivenja i nezavisnosti znakova, Sva- 
ki jezik karakteriziran je potpuno odredjenom statističkom struk- 
turom, Prvi temelji statističke strukture hrvatsko-srpskog je- 
Zika postavljeni su u radu navedenom u popisu literature pod 
(12) 1957. god. 

Odredjenom metodikom istraživanja došlo se do rela- 
tivnih frekvencija pojavljivanja vojedinih znakova, koje mogu 
Sasvim dobro reprezentirati 1 vjerojatnosti, U tabeli 2.6. na - 
Vedene su spomenute relativne frekvencije za pojedine znakove, 


Znak rel.frekv. znak rel.frekv. Znak rel.frekv. 

RE 0,1700 Too0,0367 Bo 0,0155 

A 0,0960 U 0,07364 Z 0,0144 

E 0,0770 D 0,0319 š 0,0086 

: 9,0754 M 0,03137 Č 0,0084 

S 0,0742 V 0,07306 C 0,0067 

š 090,0464 L 0,05306 H 0,0065 

x 9,0435 .K 0,0298 Žž 0,0052 

3 9,0420 P 0,0204 ć 9,0049 
0,0782 G 0,0166 P o,0011 


TABELA 2.6. 
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Primjenom navedenih rezultata izračunata je entropija 

koja se odnosi na jedan znak u hrvatsko-srpskom jeziku E]=4,19 
bit/znak., 
Usporedivši tu vrijednost sa vrijednosti Au, vidimo da neravno- 
mjernost pojavljivanja različitih znakova, dovodi do smanjenja 
prosječnog sadržaja informacije koji donosi pojava jednog znaka 
u hrvatsko-srpskom tekstu, 

Sasvim je jasno, da uzevši u obzir vjerojatnosti poja. 
vs samo odijeljenih znakova, statistička struktura jezika nije 
iscrpljena. U jeziku su uvijek prisutne dodatne zakonitosti, što 
dovodi do daljnjeg smanjenja stupnja neodredjenosti (entropije) 
jednog znaka. 

Svaki jezik ima svoje specifičnosti u odnosima frekven 
cija pojava digramskih, trigramskih i višegramskih struktura, 
Na pr. ako je poznato da se u nekom tekstu pojavio samoglasnik, 
značajno će porasti vjerojatnost da će se iza njega pojaviti 
suglasnik, Tako je u hrvatsko-srpskom jeziku vrlo čest slučaj da 
iza znaka "j" slijedi znak "a", j 

Uzevši u obzir vjerojatnosti pojave digrama i trigram 
u smislenom literarnom tekstu, mogu se za takve slučajeve izra- 
čunati entropije E, i E, koje izražavaju dodatna ograničenja u 
jeziku, Radi usporedbe u tabeli 2.7. su prikazani rezultati za 
pojedine entropije za hrvatsko-srpski, ruski i engleski jezik. 


Entropija bit/sznak Eo LJ E, B, 


Hrvatsko=-srpski 4,19. 5,59. 3,1 








Ruski 4,05. 5,52 5,01 


Zngleski 4,03 3,32. 3,10 


TABEIA 2.7. 


Obrazložimo nadalje gornja razmatranja pomoću ranije postavlj““ 
nih principa Teorije informacija. 


pr 
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Podjimo od najjednostavnijeg slučaja gdje prilikom 
promatranja slijeda znakova postoji korelacija samo medju sus - 
jednima. Označimo sa "x," prvi znak, a sa "y," drugi, Srednji 
sadržaj informacije sadržan u uslovu da iza znaka "x" slijedi 
"y" može se izraziti kao: 


I(Y/X)= - ) P(Xx;,yj4) 14 P(y4/x,) (2.74.) 
i,j 


što primjenom poznate relacije za uslovnu vjerojatnost: 
P(Z4:yj) = P(Xxi) Plyj/xi) 


prelazi u 


I(Y/X)= - 1 P(Xi) P(y;/X4) 1d P(y;/x,) (2.75.) 
1,9 


Pretpostavlja se da su uslovi stacionarni i da se vjerojatnost 
nea mijenja sa vremenom, 
Ako medju znakovima nema nikakove korelacije tada je: 
P(yy/x,) = P(y,) 


Pa Se može pisati: 


IY/X)= - ) P(xy)P(yy) 1d p(yy)= 
i,j 


a 2 P(x,) ) P(yj) 1d piy) 
1 j 


od ) PCyy) 1d P(y,) = I(Y) (2.76.) 
j 
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koji izraz predstavlja prosječan sadržaj informacije po znaku 
kada nama korelacije 

Razmatranje o korelaciji medju pojedinim znakovima mo 
že biti prošireno i na slijed znakova. Imamo (N-1) znak i neki 
slijed od tih (N-1) znakova obilježimo sa b,(N-1) a vjerojat - 
nost pojavljivanja tog slijeda sa p/b,(N-1)/. Kolika je vjero- 
jatnost da se iza tog slijeda pojavi znak "y " 7? Drugim riječi. 
ma načinimo novi slijed od N znakova: 


i vjerojatnost pojave toga slijeda označimo sa: 


a uslovnu vjerojatnost da se pojavi znak "Ty" iza b,(N-1) ozna- 
šimo sa: 


P[y;/04("-1)] (2.79) 


Opet primjenom poznate relacije: 


P/6,(N-1) ,9)/ = P/by(W-1)/.p[y;/04(8-1)] 


moguće je odrediti srednji sadržaj informacije po znaku u sli- 
jedu u kojem postoji korelacija do N-tog znaka: 


I= -k 2 plb,(H-1), yjlin plyy/b,0-1)] (2.80.) 


Otuda se entropija nekog jezika dobije graničnim prijelazima: 


81.) 
H =glim, In (2 


Ako N teži ka beskonačnosti nastupa sve više ograničenja t.j. 

informacija postaje sve manja. Radi toga i red za Iy monotono 
konvergira i njegov granični iznos je stvarni srednji sadržaj 

informacije po znaku, entropija. 
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Zalihost jezika definira se kao: 


R=E-E (2.82.) 


gdje je Hm srednji sadržaj informacije za pojavljivanje svih 
znakova sa jednakom vjerojatnosti, 

Tačan iznos entropije prilično je teško izračunati ne 
temelju slijedova znakova, jer podataka za slijedove veće 01 
tri znaka gotovo i nema, Radi toga se radi procjene entropije 
H može koristiti statistiku riječi, 

Mandelbrot je pokazao, da ako se za bilo koji jezik 
načini rječnik takav da u njemu sa porastom rednog broja rije- 
či n pada vjerojatnost pojavljivanja Pa te riječi u promatra - 
nom jeziku, tada vrijedi relacija: 


Va 


Pa = P(n + B)" : (2,85.) 


gdje je Pa vjerojatnost pojavljivanja riječi, n njen redni 

broj u rječniku a P,Bi Ka konstante ovisne 9 promatranom je- 

Ziku, Zipf je pokazao da za većinu jezika vrijedi da je B=0 i 
=1, te spomenuti zakon prelazi u oblik: 


P, = --- 
n n (2.84.) 


TU s 
*Poredjujući oba zakona u logaritamskom mjerilu izlazi: 


log Pp" log P - Piog(n + B) Mandelbrot (2.85.) 
log pa log P-1logn Zipf | ' (2,86.) 


to : 
je kvalitativno prikazano na slici 2.17. 


- 
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Mandelbrotov 
tog pn zakon 





ra — 


512.17 Usporedba Zipfovog i Mende 


rotovog 
zakona 


Za verifikaciju Zipf-Mandelbrotovog zakona za hrvat“ 
sko-srpski jezik potrebno je načiniti rječnik oblika riječi 28 
koje se pretpostavlja da su najinterasantnije obzirom na frok“ 
venciju njihovog pojavljivanja. Frekvencija pojavljivanja gvak* 
riječi može se ispitati elektroničkim računalom, a na temelju 
uzoraka odabranih posebnim statističkim metodama, 1z raznih 


štampanih tekstova hrvatsko-srpskog jezika. Ispitujući pojedi". 


ne uzorke možemo doći do zaključaka u pogledu frekvencija Z# 
tav hrvatsko-srpski jezik, ukoliko su uzorci dobro odabrani» 
Znajući frekvencije pojavljivanja pojedinih riječi lako možen? 
izračunati njihove relativne frekvencije koje u stvari pret “ 
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stavljaju vjerojatnosti pojavljivanja, Svrstavajući riječi po 
padajućim vjerojatnostima pojavljivanja može se nacrtati funk- 


cija: 


1d p, = f(1dn) 


ta se iz grafičkog prikaza mogu odrediti konstante P,Bi , o 
Gornje će ustvari prikazivati Mandelbrotov zakon za promatrani 
rječnik, ali ako je taj rječnik dovoljno velik, izvedeni zak - 
ljučei vrijedit će za čitav jezik, 

Došavši tako do Mandelbrotovog zakona može ss izraču- 
nati koliki sadržaj informacije ima neka riječ na n-tom mjestu 
u rječniku, On je po definiciji: 


nu) =-1ldp, [bit/riječ] (2.87.) 


Prosječni sadržaj informacije po riječi će tada iznositi: 


R 
Ian) = - KI P, id P, [bit/riječ] (2.88.) 


n=l 


glje je R broj riječi u rječniku, 

Da se dodje do prosječnog sadržaja informacije po znaku potreb- 

PO Je poznavati prosječni broj znakova u jednoj riječi uključu- 

jući 1 razmak, Do te vrijednosti dolazi se ispitivanjem dužine 

Tiječi na odabranim uzorcima štampanih tekstova hrvatsko-srpskog 

ska. Ako se sa x označi broj znakova u nekoj riječi, a sa 

i frekvencija pojavljivanja riječi sa tim brojem znakova tada 
Prosječna dužina riječi biti: 


> ž a ž& ti (2.89.) 
bl 
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gdje je N= X fj. Jedinica se dodaje zato da se u prosječnu 
dužinu uključi znak za razmak iza svake riječi. 

Na taj način došli smo do potrebnih elemenata za izračunavanje 
entropije na temelju statistike riječi 1 ona iznosi: 


bit/znak (2.90.) 


Zalihost se izražava kao i ranije: 


R= M -E 


U prethodnim razmatranjima jedna činjenica ipak nije 
uzeta u obzir. To je korelacija medju riječima nekog stvarnog 
teksta. To svojstvo je teško ustanoviti strojem, jer bi takav 
stroj bio suviše kompliciran i zahtjevao bi veliku memoriju, Do 
takovih zavisnosti najlakše se dolazi subjektivnim ispitivanji- 
ma, gdje subjekti, ljudi, koji poznaju jazik vrše predskaziva- 
nje slijedeće riječi na temelju prethodnog slijeda. Tada se t0- 
talna entropija dobije kao razlika one dobivene uslijed distri- 
bucije riječi i one uslijed korelacije medju riječima, dobivene 
gubjektivnim ispitivanjem: 


E=HE-E (2.91.) 


Stvarna zalihost u tom slučaju iznosis 


mE -E (2.924 


Da se dobije bolji uvid da postoje dvije vrste ograničenja u 


jeziku može se gornji izraz napisati u obliku: 


a. m-BD+E-B) (2.93+) 
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mata - H) izražava zalihost uslijed distribucije dobivenu 

na prije spomenut način, a (H- H) =H, ozalihost uslijed ko- 
relacije medju riječima, 

Na temelju gornjih razmatranja može se zaključiti da 
u jeziku nisu iskorištene sve mogućnosti slijedova znakova tea 
da se isti sadržaj informacija može izraziti i sa manjim brojem 
elemenata. To sa može iskoristiti prilikom prerade i prijenosa 
informacije. 


2,6. Optimalni kod za jezik 


Značajan razlog za procjenu zalihosti jezika po prije 
iznesenim metodama leži u odredjivanju optimalnog koda za prije- 
nos maksimalnog sadržaja informacije nekim kanalom izvjesnog ka- 
paciteta. 

Shannon je pokazao da je zalihost direktna mjera re - 
dukcije veličine alfabeta, koja slijedi iz optinalnog kodiranja. 
Velike i složene sekvence znakova mogu se primjenom optimalnih 
metoda kodiranja pretvoriti u kraće. 

Mandelbrot daje alternativna metode kodiranja i uzima 
kao jedinicu kodiranja riječ +.j. slijed znakova izmedju dva raz- 
naka, Ta metoda može se suprostavljati smetnjama jer se može tra- 
žiti ponavljanje. Kod takvog kodiranja postoji veliki stupanj 
Miš tivanja unutar riječi, ali nakon razmaka on je nula. Ta- 

Pogreška može razoriti samo jednu riječ. 
seku. . kona načine Pesianja uredjaj za kodiranje mora 
idila; nn radi smanjenja zalihosti. Drugim riječima, 
Bi. rajna pika pamtiti prethodni slijed znakova da bi 
Ba deno no značenje dolazećeg znaka, Ako se sa e, označi 
; rije u promatranom momentu, a sa X dolazeći znak, 
kje kodno značenje toga znaka: 


8 


net sl, Ko) (2.94.) 


U 
djed 
X #ćem trenutku mora i memorija poprimiti novo stanje 















































- 112 


takodjer ovisno 0 o > 


Garage ko) (2.95.) 


Vidimo da je zadatak uredjaja za kodiranje da smanji postojeću 
zalihost u jeziku, ali da to ne ide na račun gubitka sadržaja 
informacije. Drugim riječima, potrebno je prilagoditi jezik sa 
prijenosnim kanalom i približiti se po mogućnosti k brzini pra. 
daje informacije, koja odgovara kapacitetu kanala, Radi toga je 
nužno promotriti i svojstva kanala kojim se informacija prenosi, 
Opća shema komunikacijskog sistema dana je.na slici šok Ako ne 
ki izvor predaje m znakova u sekundi, a srednji sadržaj infor - 
macije po znaku je Ix može se izraziti tok informacije: 


lk =a bit/sek = (2.36.) 


Koder informacije mora biti tako gradjen da spomenuti tok prile 
godi svojstvima prijenosnog kanala, 

Za prijenos informacije potrebno je izabrati neku fi 
zikalnu sredinu (kabel, liniju i sl.) koja će služiti kao pri= 
jenosni kanal. Izmedju vremena trajanja signala i pojasa pro" 
puštanja odabranog kanala postoji poznata relacija: 


B. T= konst 


Dodamo li tome još da je izabran pogodan način za fizikalnu 1" 
terpretaciju simbola, može se reći da je sa tehničke strane ks 
nal u potpunosti odredjen. 

= Preostaje još da se problem razmotri sa statističko 
stanovišta. U tu svrhu promatrajmo skup od n diskretnih simbo 
JERE DTIKKEKEK Sj ..... S dužine trajanja ti, to, ...tj 
Pretpostavimo radi jednostavnosti da su simboli 5 medjusobn? 
nezavisni, te da bilo kakav slijed simbola može predstavljat“ 


informaciju nekog sadržaja. Vrijeme trajanja informacije T oF 
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ćenito je jednako sumi vremena trajanja pojedinih simbola tj od 
kojih je informacija sastavljena, Slažu li se razni simboli 8 
dužine tj u slijedove tako da ukupna dužina slijeda bude T i 

ako se sa N(T) označi ukupan broj različitih informacija koje 

ja moguće formirati, tada sadržaj informacije jedne od njih iz= 
nosi I = 1d N(T) pod pretpostavkom da su svima apriorne vjerojat- 
nosti iste. Brzina kojom se informacija predaje po kanalu jedna- 
ka je 1/7 i ona ja varijabilna i ovisna o vrijednosti T. No te- 
ži li Tu beskonačnost spomenuta brzina ima svoju graničnu vri- 
jednost, koja odredjuje kapacitet kanala: 


C = lin IŠLE) (bit/sok] (2.97.) 
T-e 90 T 


To je još jedna interpretacija kapaciteta kanala. 
Za izračunavanje kapacitsta kanala potrebno je poznavati funk- 


oGiju N(T). Pretpostavimo da imamo skup od n simbola od kojih 


ima 8) simbola dužine t], & dužine ti općenito aj simbola 
dužine tj i konačno a_ simbola dušine t_= € . 

leka je 1 € “< Re 

skaje let <t,< +.<biC... <th =G it, neka budu 
Sjelobrojni, Takodjer se može napisati da je: : 


Ja. 


Zi šu a. pozitivni cijeli brojevi. Ukupan broj različitih in- 
Tuacija općtnite dužine T moše se izraziti: 


ma. N(T-t,) + agN(T-t9)+ .... + a N(T-to)= 


pe ) ajN(7-t,) 
j=l 


Odn a: ' 
"Bno napisano u drugom obliku: 
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nm : 
N(T) - ) 8,N(7-4,) =0 
jal 


Što je linearna jednadžba diferencija. Ta jednadžba ima S na- 
zavisnih rješenja oblika: 


T 
"(T) = šk kru 1,2 s.s..aa...a g 


a opće rješenje je linearna kombinacija partikularnih: 


€ 
N(T) = 3 MX xi 
k=1l 


gdje su Ak konstante koje treba odrediti iz početnih uslova, 
Pretpostavimo da je jedno partikularno rješenje: , 


T 


te uvrštavanjem u jednadžbu diferencija dobivamo: 


x! - a, rta 0 dl 
iz 
m 

..< 2 a, x*i«o0 
j=l 


i to je karakteristična jednadžba zadane jednadžbe diferencij#“ 
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Množeći gornju jednadžbu sa re dobivamo algebarsku jednadži: 


6 - tog stupnja: 


m 
S 

I - ž 2,19 “ti 0 &ž>0o 
j=l 


Ova jednadžba će imati O korijena a od toga će biti samo je- 
dan realan i pozitivan, dok će ih & - 1 biti ili negativnih 
ili kompleksnih. Opće rješenje će glasiti: 


[cg 
N(F) = Ri + ) saf 
k=2 


Konstante A1 šćtaese A određdjuju se iz početnih uslova: 


N(0) =1 

N(-1)=N(-2)= ..........=N(- € +1) =0 
Prvi član u rješenju raste eksponencijalno sa T i on je domi- 
Bantan dok ostali članovi imaju oscilirajući karakter, 


U Praktičnim slučajevima može so rješenje sasvim dobro aprok- 
Simirati samo prvim članom 


bi 
N(7) = Alži s Ajo BT (2.98.) 


gdje je A = ln i). 


Uvr | 
Stivši ovo u izraz za kapacitet kanala izlazi: 


kAT +%k 1d 
C = 1lim > sE bribmakce m 
T-e oo T 





Id 
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kId A, 
= lin AA A 2 j/a KA (2.99,) 


Tee T 


Prensseni sadržaj informacije u jedinici vremena 
približit će se svom maksimumu, kapacitetu kanala, samo pod 
uslovom da na predajnoj strani egzistira najvjerojatnija sta- 
tistička raspodjela simbola koja je dana relacijom: 


-f3*, 


Pj=e (2.100,) 


gdje Pj označuje vjerojatnost pojavljivanja j-tog simbola, a 
tj njegovu dužinu trajanja. Gornji zakon izriče da vjerojat - 
nost pojavljivanja nekog simbola mora biti to manja što je on 
duži, Iz toga zakona takodjer proizlazi da je najbolje kodi - 
ranje takovo pri kojem se postiže najefektivnija raspodjela 
simbola t.j. 


ln pi 


bd. (0 -Ah (konstanta) (2.101.) 


tj 


Upotrebivši najvjerojatniju raspodjelu i optimalni kod možemo 
izraziti prosječni sadržaj prenesene informacije: 


Im <k žu ln Pj= -k/fB 3 


j=l 


= -/8 3 (2.102.) 
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Si. 2.18. Oplimalm kad za hrvatsko-srpski jezik 
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gdje t označava prosječno trajanje jednog simbola, 
Ako uzmemo u obzir da je C = kf? može se gornja relacija 
pisati u obliku: 


I=-C0t (2.105,) 


što izražava da upotrebom optimalnog kodiranja možemo isko- 
ristiti kapacitet kanala do maksimuma, ako se ne računa utja- 
caj smetnji. 

Slika 2.18. prikazuje sintezu optimalnog koda za hrvatsko - 
srpski jezik. 

Potreba za analizom jezika nameće se i prilikom 
strojnog prevodjenja. Stroj za prevodjenje sa svojim spremni- 
cima takodjer predstavlja komunikacijski sistem izvjesnog ka- 
paciteta, te sa i ovdje treba pridržavati ranije iznesenih 
pravila za optimalno kodiranje informacije koja se preradju- 
je. No pored toga analiza jezika u svrhu strojnog prevodje- 
nja potrebna je i radi tvorbe rjačnika oba jezika koje stroj 
mora sadržavati. Najveći dio vremena rada elektroničkog stro- 
ja troši se upravo na traženje odgovarajuće riječi u rječniku 
stroja. Radi toga potrebno je strojne rječnike tako sastaviti 
da prosječno vrijeme potrebno za traženje neke riječi bude 
najkraće, Pri sastavljanju takvog rječnika potrebno je ko - 
ristiti rezultate statističke analize jezika 1 već spomenuti 
Zipf-Mandelbrotov zakon. 










K 
m 


KARAKTERISTIKE SIGNALA I ŠUMOVA 


4 


3,1. Općenito 


u U prethodnim smo poglavljima razmatrali dogadjaje 1 
informaciju, bez njihovog tjesnijeg povezivanja sa tehničkim sis 
temima. Medjutim, prijenos, prerada i prijem informacija u teleko- 
munikacijskim i regulacionim sistemima nerazdvojno su povezani sa 
pojmom signala, 

s Već ranije smo spominjali, da se razni oblici infor- 
ije mogu realizirati pomoću signala, te možemo reći da su sig- 

a 5 materijalni nosioci informacije u širokom smislu riječi. Sig- 
zm mogu biti raznih oblika i njihova raznolikost ne pruža moguć- 
i pa jedinstveno opisivanje prikladno za sve Slučajeve primjene, 
4O cemo mi pažnju usmjeriti prema onim signalima, koji se najčeš- 

Primjenjuju. 

U realnim telekomunikacijskim i regulacionim sistemima 
ali se prenose na veće ili manje udaljenosti najčešće u vidu g 
e romagnetskog titranja, Radi toga se kao fizikalne veličine ko- 
M oluju karakter signala obično uzimaju napon ili struja, ko- 

1 mijenjaju sa vremsnom po odredjenom zakonu, zavisno o prirodi 

: nošene vijesti. 2; ' 

























Kod rješavanja konkretnih probleme signale ćemo pred- 


kazivat ematičkim modelima, koji će sa dovoljnom tačnosti pri- 
“Vati osnovna svojstva realnih signala, 


Stavljati mat 


> ke Signali upotrebljeni u komunikacijama kao fizikal- 
> ran . se prikazati matematskim izrazom kao jedno- 
Bine. <. vektorske funkcije sa najviše tri neovisne ko- 
: a8 dj», a, i a3 i jednom vremenskom koordinatom t: 


F( d1> a2», ast ) 
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Svi signali imaju prostornu i vremensku razdiobu, ali 
za kasnije definicije valja samo one koordinate (parametre) sma. 
trati relevantnim "!: kojima funkcija signala nema napromjenljivu 
vrijednost, jer samo takve mogu biti nosioci informacija. 
Signali kod kojih su nosioci informacija samo koordinate mjesta 
zovemo konfiguracijama. 

Ako samo vremenska koordinata sudjeluje u prenošenju 
informacija ili ako je ona pridružena koordinatama mjesta onda se 
signali nazivaju zbivanjima, 

Uz pomoć ovih koordinata mogu se signali razlikovati i 
po svojoj fizikalnoj dimenziji (pritisak zvuka, električki napon, 
temperatura i t.d.) 

Nadalje se signali mogu razlikovati i po tome da li za otkrivanje 
informacije koju oni prenose postoji potrebna energija koju ti 
signali posjeduju ili ne. : 
Informacije koje se prenose istodobno sa potrebnom energijom za 
njihov prijem zovemo prema Brillouinu "živim" informacijame Za 
razliku od onih koje moramo oživiti sa privedenom energijom iz 
vana, a te zovemo "mrtvim" informacijama. 

Primjeri za žive informacije su akustički ili slektriče« 
ki signali, dok se mrtva informacije uvijek nalaze na mjestima 
gdje su signali pasivno uskladišteni kao što su magnetske konfi- 
guracije u magnetonskim trakama ili perforirane konfiguracije u 
perforiranim trakama, pa i crno-bijele konfiguracije u štampanim 
tekstovima ili slikama i t.d. 

Razumljivo je da za izvodjenje neke konfiguracije, koja sadrži 
mrtvu informaciju, moramo upotrijebiti energiju, koja u gotovom 
signalu nije više nazočna, 

Energija koja se transportira sa živom informacijom postepeno se 
u toku postupka prenošenja a i kod procesa prijema pretvara u 
toplinu, a time se istovremeno uništava i informacija. 

Mrtva informacija nasuprot tome može se praktički beskrajno čes" 
to postupkom reenergetiziranja oživiti, ali je zato ta mrtva in“ 
formacija uvijek vezana za neki materijalni prijenosni medij, 8 
taj se mora transportirati od predajnika do prijemnika infornao 

Signale ćemo nazvati determiniranima ako su arametri_ 
koji ih odredjuju poznati u svakom trenutku vremena, U protivno! 


- 












ij" 


Kada Su paremetri u promatranim trenucima vremena slučajne veli- 
šine, signale ćemo nazvati slučajnima. Napomenimo usput da deter- 
minireni signal pripada samo poznatoj vijesti, 

U realnim uslovima prijenosa informacija, vijesti nisu 
u potpunosti nikome, osim predajniku, voznate, Prema tome je nemo- 
guće predvidjeti vremenske promjene signala koje ovripadaju odre- 
djenim vijestima. Stoga je nužno da se realni signal promatra kao 
slučajni proces, koji je odredjen vjerojatnosnim karakteristikama, 
Ali karakteristike slučajnih signala su složene,pa je redi toga 
potrebno najprije proučiti determinirane signale, tim više što 
deterninirani signali raznih oblika imaju široke primjene u mje- 
renjima i regulaciji večine uredjaja koji ulazo u telekomunikacij- 
ski 1 regulacioni sistem. 

grečstavljanje deterninivanog signala pomoču odredjene 
vremenske funkcije nazvat ćemo vremenskim prikazom signala (pri- 
kaz signala u vremenskoj domeni). Analitički oblik funkcije mo- 
že biti različit. U slučaju, kada je vremenska funkcija zadana_ 
u konačnom intervalu vremena, ona se, 12 neca ograničenja, može 
Prikazati u vidu trigonometrijske funkcije (kosinus, sinus), ie 
funkcije nazivamo harmonicima i svakom Id njih pripada odredje- 
na amplituda frekvencija i faza, Skup amplituda frskvencija i 
faža svih harmoničkih komponenata šini spektar promatrane vre - 
nenske funkcije (signala). Vremenska funkcija se nalazi u jed - 
Noznašnom odnosu sa pripadajućim spektrom. Prema tome se prikaz 
funkcije u vremenskoj domeni može zamjeniti sa prikazom u tako 
Yencijskoj domeni t.j. prikazom spektra koji pripada promatra - 
noj vremenskoj funkciji. Oba prikaza su potpuno adekvatna, a šes- 


to j a 
he je korisno primjeniti oba prikaza za rješenje jednog proble- 



































3.2, Osnovni tipovi determiniranih signala 


Determinirani signali mogu biti periodički i nepe - 





dodiški, 





odiški Signal prikazuje se vremenskom funkcijom, koja zado- 
Java relaciju: u 25. 


ELE 





(3.1.) 
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frekvencija |f= Su = Šri: 


Prikazana tri parametra funkcije čine njen spektar i 

e za prikaz funkcije u frekvencijskoj domeni. Prikaz u frek- 
cijskoj domeni obično se daje grafički tako da se iznad od - 
rek veni e 


jene fun funkcij nacrta odgovarajući iznos faze ili amplitude, 
E glošenija periodičke funkcije mogu u najopćenitijem 


- 122 = 
x e 
gdje je t bilo koji trenutak u intervalu - 9 Et =+ 
a T konstanta koju nazivamo period funkcije f(+). 
Prema tome za potvuno odredjivanje funkcije f(4) potrebno je poz, 
navati samo njene vrijednosti u intervalu T (s1.3.1.) 


ničena, neprekinuta po otsječcima i ima duž perioda konačni 
roj ekstrema, tada se ona može Joea Fourier-ovim redom: 


(+) = raka ) Ag 608 (n 1 - + n) (3.3.) 


n=1 h s 


A, 
gdje je -"- - konstantna komponenta, A, 4 =n A4 i e. 


ituda, kutna frekvencija i model Zasti Tr harmonika, kod 
ga kutna frekvencija . pripada prvom (osnovnom) harmoniku, 
ja je u vezi sa periodom funkcije £(+) preko o relscije 1, = a. 
kvencije ostalih harmonika su višekratnici frekvencije osnov-. 
harmonika, 

Iz gornjeg proizlazi, da proizvoljni periodički Signal 
mo promatrati kao superpoziciju, općenito govoreći, beskonač- 
broja barmoničkih komponenata i konstantne komponente, 


Spekter periodičkog signala možemo prikazati grafički 
\81.3.2.) pomoću niza odvojenih spektralnih linija, čije dužine 





51.31. Periodička funkcija 


jer se nakon tog intervala vrijednosti ponavljaju. 

Jasno je, da je nemoguće fizikalno ostvariti periodič= 
ki signal, jer se realni signal ne može produžiti u vječnost. 
Medjutim, apstraktni smisao periodičkog signala ne umanjuje nje“ 
govu primjenu u teoretskim istraživanjima. 

Najjednostavniji i najrasprostranjeniji periodički si# 
nal je harmonički signal izražen kosinusoidalnom ili sinusoidal“ 
nom funkcijom: 


(3.2) 





Harmonička funkcija u potpunosti je odredjena osnov 





ps < < i 
nim parametrima: amplitudom A, kružnom funkeijom_£1 poče# 2, 59, 4, 602, 
nom fazom Bu . Period harmonič čkog signala je |T a 





51.3.2.Spektar periodičkog signala 
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Razmak izmedju susjednih linija je konstantan uz li ; 
nearnu frekvencijsku skalu, Zato je spektar periodičkog signala 
diskretan. : 

Postoje i takvi periodiški signali u čijem spektru ne- 
dostaju neki harmonici, Medjutim uvijek je sačuvan višekratnički 
odnos medju frekvencijama spektra. 

Diskretnost spektra nije dovoljan uslov đa signal, ko- 
jemu on pripada bude periodičan, mi 

Nezertoni ki € fetenainirani signal prva: se neperi - 











na čitavom oim vremena - 0 Et £ +0. , Takav šleboii | 
prikazuje se funkcijom, koja je zadana u granicama konačnog 
(ti e+< to) 114 polubeskonačnog GE t<qo ) intervala, a 
izvan tog intervala ona je jednaka nuli (s1l.3.3.) 





4.3.3. Neperiodička funkcija 


Forma signala može biti proizvoljna. Ne ulazeći sada 
u pojedinosti (o kojima će kasnije biti riječi) razmotrimo se" 
novno svojstvo spektra neperiodičkog signala. Na prvi pogled je 
ošito da se neperiodički signal može smatrati periodičkom funk“ 
jom sa beskonačno velikim periodom. Iz izraza za frekvenciju os“ 
novne harmonike (fi = _ ) slijedi da pri porastu perioda 1, ro 
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kr izmedju frekvencija sus jednih harmonika biva sve manji iu 


raničnom slučaju kada T— eo on se približava k nuli, To nas 


vodi do konstatacije da će spektar .neperiodičkog signala biti 
fontinuiran., u 
mm 


U nastavku ćemo detaljnije razmatrati svojstva spekta- 
a periodičkih i neperiodičkih signala. 


$ 
* 





5,3. Periodički signali 


Periodički signal može se, kako je bilo spomenuto, 
maEzati sumom harmoničkih komponenata pomoću razvoja u Fourier- 
rad. kiki 
Š je funkcija f(+) zadana u intervalu_t] ti= to i sja se 
vrijednosti ponavljaju sa periodom Teže = to - ti s tada se za 
nju može napisati Fourierov red u trigonometrijskom obliku: 


“ 


a 
f(t)= + ) (a, cos n Nit +b, sinn Bt) (3.4,) 
a n=1l 
* n=1,2, ... 
"E 
ili drugačije napisano: 
oD 
it, £(+4) A3 0] 
= u + Ap cos (m 3ćit 4+) (3.5.) 


n=1l 





ME ooijenti ai bu koji predstavljaju amplitude kosinusnih i 
USnih članova gađa (3.4.) odredjuju se pomoću izraza: 


(3.6.) 


m: g 








= 126 - 
to K;4 1.4 
Z dd a 4 = re i* kae 1) (3.11.) 
bn= -Ž- S £(*) sin(n ljt)at, n=1,2.... (5.99  idrikie: “a PN plaši 
I n=1 
ti 
osu, i As kompleksne amplitude povezane sa a, i > izra- 
Konstantni član reda je jednak: 
— -j 
to Aza Tena sai : (5:12) 
a, A, 1 
2 2 T : ž 
i Loza Tae, +jb ia (3.13.) 
t -n 7 “-n A “4 3.13. 


što predstavlja srednju vrijednost funkcije f(t) za period, 
Usporedjivanjem izraza (3.4.) i (3.5.) dobivamo vezu 
amplitude A, i faze +n sa veličinama a, i b, , kako slijedi 


Iz gornjeg proizlazi da su ra i ra konjugirano komplek- 
veličine kod čega je 


m U . 
kha: h- -+b_ (5.24, 
4= 22 + b2 Hi an = A, cos +, 
(3.4 Sada možemo izraz (3.11.) napisati u jednostavnijem ob= 
by = dp sin +, 
og 
- ju1,t 
" th ne 111 
ka arc tg --"- (3.10 2 n (3,112) 
“a n=- og 


Često je praktično napisati Fourisrov red u komplek# 
obliku, koji lako možemo dobiti ako trigonometrijske funkcij# " 
izrazu(3.4.) zamjenimo sa eksponencijalnima primjenivši poznat* 
formula: 


8 je 4 kompleksna amplituda koja se dobiva pomoću izraza 


to ' 
ze 2 -jn Nit 
cos x = de (ešži e7dž), sin x = -h (ed e-4*) “ T 5 
2 2 . 


đQ (z 11! A4 
\3.111), za n=0 sadrži komponentu -s- - konstantni član, tako 
te se kao rezultat dobiva: . 
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o opisati funkcijom f(+): 
da jed, =a, 
Primjetimo nadalje, da ćemo zan < 0 imati "negativne" frekven, 
cije budući da je uvijek 1, > 0. To je formalna posljedica 
matematičke transformacije, ali ima i geometrijski smisao, jer 
to znači da uvijek zbrajamo dva vektora od kojih jedan rotira 
protivno smjeru kazaljke na satu (pozitivna kružna frekvencija), man (3.15.) izlazi: 
a drugi u smjeru kazaljke na satu (negativna kružna frekvencija), 
Kao rezultat, dobiva se vektor paralelan sa realnom osi. 

Kada funkcija f(+) koja opisuje signal ima specijalni 
oblik, Fourierov red za takvu funkciju može biti jednostavniji, 
Ako je funkcija parna t.j. f(-t)=f(t), Fourierov red sadrži samo 
kosinusne članove (ba=0, Alčen' T=0, 4). 

Ako je funkcija neparna t.j. f(-t)=-f(t) Fourierov red sadrži ga iz 
mo sinusne članove (a, =0 =b 4+ «ada lie +T ) m2 = 2. Ako uvrstimo t2 = t +% k 
8070) dp=Op+ Ta" 2, -2 BV raka: ke 2" “1 Nakon 

Spektar periodičkog signala u potpunosti se odredjuje nih transformacija izlazi: 
zaplitudama i fazama harmonika t.j. sa modulom A, i argumentom 
+, kompleksne amplitude ref Iz toga se vidi prednost prikaza 


f(t) = 


o 
a 
m 
et 
N- 
N 
e 
N 
+ 
m“ 
+ 
Hi 


s fo! t s A 1 
S Ae dta --24.__ (4 ikog . sa 1*2, 
jn 1iT 


SAŠK Tara 


u 














Fourierovog reda u kompleksnom obliku, sin nA, Ce . S 
: : 2 -jn BNitr+ =a) 
PRIMJER: Mn ------------ eo 
n fl, T 
2 


7.1. SPEKTAR PERIODIČKOG SLIJEDA FRAVOKUTINIH IMPULSA 
n= 1 2 3 ... 
Slijed pravokutnih impulsa amplitude A širine ZB i perioda T viki 


(s1l.3,4.) je relacije slijedi da su amplitude harmonika: 


--------_2____ n= 1,2,3 mea 


entni član dobivamo zan = 0: 





S134.  Stjed pravokutnih impulsa 
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Faza harmonika, kao što se vidi iz izraza za komplek- 
A, AC amplitudu, ovisit će o x izboru ishodišta _ koje se odredjuje 
neki rm činom tj. Osim toga treba uzeti u obzir da sa uzastopnim po- 
: E ea dt AN = 2 : 
om frekvencije =n 1 Za e funkcija 
Izraz pokazuje da veličin mplitudđa ne ovise o izboru ishodiš. : LL mijenja svaki puta svoj predznak čemu odgovara i pri- 








ta. st faze za veličinu TT . Prema tome možemo napisati izraz za 
m Anvelopu spektra amplituda dobijemo ako uvrstimo u ix kvencijsku ovisnost faze: ; 
raz za amplitude nili=+- što daje: i : 
a 
đ b na 
aT +, "4, (tat o-5>) +a-Dl 
sin ---- a 
rim pa gije je k rodni broj intervala A1 = -2-> >, počevši od nulte 
T LT rekvencije. ni mao T 
2 Spektar faza će biti najjednostavniji, kada je ti=-s 


tada on poprima vrijednost 0 i T (81.5.6.). U tom slučaju funk- 


kagalena ču teaniiE kros anih Wesa je ija £(t) je parna i njen razvoj daje samo kosinusne članove, 


14 =a»1I odnosno fl= ah 


Sada možemo nacrtati spektar amplituda prema slici 73.5. 
-——————— 





S. 3.6. Spektar faza sljede pravokutnih impulsa 


Ad Konačno možemo napisati Fourierov red za funkciju 
id koja Predstavlja slijed pravokutnih impulsa u svim ranije 
ZMNatranim oblicima: 





4.3.5. Spektar amplituda slijeda pravokutnih impulsa 





= 455 = 
o a, Pg 29 ije ge 
rid odan ček : 
n=-99 
T e9 
= -. na ) Še suis koslkok £ N,t - nila 
on 
a=1 
o 
a, T a 1 x,% q 
si “aT a ) od pan rama afli(tit =. . 
a=l 


| a Vo1tit ZM 
cos n Nj + Ka ) o a a eje 1t4+ I 


iL 
a=l mu 
.sinn n.t 
4 
Iz ovog općenitog oblika mogu se izvesti specijalami slučajevi 4T 
3.7.1. Razdioba snage u spektru periodičkog signala 
Neka složena periodička funkcija f(t) sa periodoP : 
T opisuje struju i(t) koja protječe kroz otpornik R (s1.3.7:)' S E 
Ako se proces periodički ponavlj#! ; 
da je energija koja se troši na otP 
niku R za jedan period konstantna 
srednja snaga je jednaka 
T 
mi 
dy 





1 2 2 961 
Da“ “Fr S i“*(+) Rdt=RI (3 


: o 
343.7 Uz izraz 5.16. 
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q 
S i2 (+) at 


o 


(3.17.) 


£.j. kvadrat efektivne vrijednosti. 
struju i(t) možemo prikazati Fourierovim redom: 


ovo 
A 
i(t) = EnO + H A, cos(n Nit - +) 


n=1l 


vrštenjem u (3.17.) dobivamo: 


[ <» + ) k cos(n Nit - ko ee 


n=il 


oVN\N a 


bd  q 
, , A 
2 
S kit +? 3 S apeosla gs - +. dt + 
9 


n=l o 
T 

co 

> S kjAjo0s(1 134 - Bjjeos(i Mjt- Pat + 
isl 

eo < 

7 S aZcos?(n,t - . dt = 
a=1 o 
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2 oo : 
4 " ama 
(+) 2 
zao > A (3.18.) 


što uvrštenjem u izraz za snagu daje: 


o 
R 2.4, E 2 
Po az -- At anu ) AL (3.19.) 
4 2 
n=1 


Rezultat pokazuje, da je srednja snaga o se troši 


daj E m PR 


sumi srednjih srednjih. snaga snaga koje se se troše na ot na otporu zo u po- 
jedinih harmonika i istosmjerne komponente, Srednja snaga ne 
ovisi o faznim odnosima medju komponentama. 
m 
3.3.2. Praktička širina spektra, Izobličenja signala uslijed 
ograničenog frekvencijskog pojasa propuštanja sistema 


Do sada smo govorili o spektrima signala bez obzi- 
ra na to u kakvim sradinama oni egzistiraju. Nedjutim u u praksi, 
signale kao nosioce ce informacija, moramo propuštati kroz z siste- 
me sa različitim karakteristikama. Realni telekomunikacijski i 
regulacioni sistemi sadrže inercione elemente — induktivitete 
i kapacitete pridono | e. da sistemi imaju konačnu _gra- 
ničnu frekvenciju, že se sistemom ne mogu prenositi pojave po 
volji visokih frekvencija. Prema tome će se od složenog. signa- 
la koji bi bio narinut na takav sistem moći prenjeti. samo ko= " 
nača: broj harmoničkih komponenata, 

Ovdje ćemo razmatrati linearne sisteme, t.j. one > ko- 
ji imaju linearnu ovisnost o frekvenciji i amplitude 4 f faze u 
području propuštanja: Drugi siješina slsten nove nuti. tašer 
da na jednak način djeluje na sve komponente signala, U protiv: 
nom, na izlazu sistema pojavit će se i oni frekvencijski udjeli 
koje ulazni signal nije posjedovao što znači da sistem nije , 
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arno prenio signale. Prema tome Prema tome amplitudna karakteristika karakteristika 
a biti takva, da anplitade svih Eonnonsšata u pojanu pro svih komponenata u pojasu pro- 
*tanja Sistema proporcionalno povećava i] ili smanjuje z zavis- 
o vrsti sistema., Takvo svojstvo ima samo sistem sa hori - 













italnom amplitudnom karakteristikom (sl. 3. B. ja 





51.38. Frekvencijske karakteristike linearnog sistema 








Označimo početnu fazu svake od komponenata sa + to _će 


Kon prolaza kroz sistem nastati | prirast faze za _(3 š 








[ an + u + (3x 








i odnosi medju komponentama bit će sačuvani samo onda ako 
ina karakteristika ima oblik (#1.3.8.) ić 


IE u ni Kahn: me 


tom će slučaju argumenti komponenata  Fourierovog_ reda a signa- 














SG Ba izlazu imati oblik: 
izlazu imati obli 
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ww. - da Wwpt- bao 


NE a“ mae“ /?o ' 
= wW,(t-t)- Pp - Še 





Budući. da su komponenta Pourierovog. reda ! harmoničke funkceije 
"sa. “periodom 2]! , to će uz fa ai = IT (kao ol, 2 re faza 
Komponenata_ na izlazu sistema biti ista kao na ulazu_ sistema, 
Zadatak je svakog sistema, da prenese maksimalni sadržaj infor- 
macije. Da bi se to moglo provesti, sistem pored ostalih. ka x 
rakteristika. mora_ , imati i odgovarajuću graničnu £ frekvenciju, 


prilagodjenu vrsti signala, 














543.9. Stijeq pravokutnih impulsa 














jima će se “Jdrediti potrebna granišna f=: frekvencija sistema (pot- 
reban pojas propuštanja). Sa stanovišta prijenosa informacija 
ti su kriteriji obično dvo aki: en etski odnosi izmed u re - 

2 3 inergerek. oem 3 < aje neparnu funkciju t, = 01 
danog i primljenog si: g_signala i sličnost oblika predanog_ a prim - je: 


ljenog sig signala (izobličenje). 





Ovako odabrani koordinatni početak Za promatranje 


ME riše je specijalni slučaj već razmatranog primjera, koji 
ae 
b 








= -5- .« Iz toga . ijedi da 








Sa_ a energetskog stanovišta, jasno je, da je potrebi no sdanacti m 
takovu graničnu frekvenciju sistema, da se mogu prenjeti one [sin 3 
harmoničke komronente složenog signala, koje koje imaju relativno ve“ PI Ah mA oo 
like te amplitude, Prema tome će se širina pojasa propuštanja sis- BT 
tema odabrati tako, da on može propustiti sve harmoničke kompo- 2 









nente signala, koje imaju veće amplitude od neke unaprijed Za“ 
dane vrijednosti. 

Nedostatak nekih od harmonika neće utjecati samo na_ 
energetske odnose već i na oblik izlaznog signala. Ovisno. o tor 





*: Znači da će spektralne linije različite od nule biti samo 
3 n=1,3,5... Tako dobivamo: 




















me kolika je potrebna sličnost izlaznog i ulaznog signala odre-“ konstantnu komponentu o = :B 

djuje se i broj harmonika koje treba prenjeti, a time time i granič“ 2 2 

na frekvencija sistema, Dakako, da će na sličnost t signala. ina" 

ti utjecaja i fazni odnosi u sistemu, 

psić Razmotrimo navedene kriterije na primjeru slijeđa smplitude harmonika: - -54_ » n=1,3,5... 


pravokutnih impulsa prema sl. 3.9. nji 
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čnu frekvenicju Le 5 Ri: te su u pojasu. propuštanja 


t funkciju ima samo sinusne članove 1 on 
Puma mon : ma smještene. prva, treća i peta hermonika,te_ konstantna 





glasi: M ia. 
eo ja snaga signala sa tako ograničenim spektrom trošena na 
£ (4) = A ra _2A_ ) sta nljt ičnom otporu iznosi: 
2 JI n 
n=1,3,5... 


Spektar amplituda prikazan je na sl. 3.10. 


grednja snaga neograničenog spektra trošena na istom otporu: 


= A2 i o =. . 'ioA = 0,5 4% 
4 goa 
Na taj način vidimo da je 


P 
o . 100 x 96%, t.j. da je 





' ukupne snage signala sadržano zaključno sa petim harmoni- 
1, te te da je sa stanovišta energetskog kriterija daljnje pro- 
nje spektra nepotrebno. oec 

L Ograničenje. frekvencijskog spektra utječe takodjer i 
Zormu signala. To dovodi do toga da se oblik izlaznog. signa- 
većoj i manjoj mjeri razlikuje od oblika signala na ula- 
istema, Pokažimo to grafički na ovom primjeru, Prvih pet 
menata signala, kinika prikaz za Fourierov red možemo 


disati u obliku: 





S1.3.10. Spektar amplituda slijeda impvisa prema 51.3.9. 








Nadalje se postavlja zahtjev, koliku graničnu frek - 
venciju noža imati sistem kojim prenosimo signal danoga 0 oblika, 
ako želimo prenjeti sve harmoničke komponente čije su veličine. 


veće od na pr. 0,2 puta amplituda prve harmonike, Dakle mora bi“ 
ti za zadovoljeno: 














u 2 =o054A 
262] -84 _T_ i bi(t)= 0,64 A sin NE 
A1 , aJ AA n bs(t)= o,2lLAsin3,t 





s 
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bs(t)= 0,13 A sin 5 it 
b,(t)= 0,09 A sin 1 it 


Vlazni signal i tri komponente prikazane su na sli- 
ci 3.11.a. Slika 3.11.b. prikazuje postepeno sumiranje sve vi< 
še komponenata. Dodavanjem sve više komponenata rezultat dobi- 
va sve sličniju formu ulaznom signalu. 














bo 
Ž 
0, (€) 
- 
6,6, (t) +b3 (+) 

65(#) 

bs(t) b,+b, (t)+b3(t)+b5(t) 
a) 5) 


51.3.11. Sumiranje harmoničnih komponenata 












- 141 - 


Za ocjenu kvalitete sistema za prijenos informacije 
oću signala pravokutnog oblika (binarni sistemi) najčešće 
primjenjuje t.ZV. vrijeme utitravanja. To vrijeme. je dje 
od kriterija za ocjenu izobličenja signala prolaskom kroz 
-—_————a—————— an __—— 

istem sa konačnom graničnom frekvencijom. 


Označimo vrijeme utitravanja sa AT (s1.3.12.), i 
= 


























513.12. Vrijeme utitravanja 











Prenesena sistemom (a to je on Ka a prvi maks imum im na mjestu 

imuma najviše harmoničke ki komponente. Otuđa se lako zak - 
uje da će izmedju vremena utitravanja i granične frekven- 
je sistema postojati odnos: 


Lj 














/aqT. 24. 
SRE Ri 


Be. tone vrijeme utitravanja bit će za zadaci sistem kons - 


(3.21.) 


. 
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tantno y_ bez obzira na amplitude signala koji kroz njega prolaze, 
Sa stanovišta prijenosa informacija bitnije od apso- 
lutnog vremena utitravanja je odnos izmedju. perioda mi vremena 
utitravanja, Perioa T nam u pr rijenosu info rmacija u digitalnim 
istenima odredjuje brzinu prijenosa, Što je period kraći, to 
će više impulsa u jedinici vremena proći sistemom, a znamo da 
su impulsi nosioci informacije t.j. svakom impulsi ili pauzi u 
binarnom sistemu pripada jedan bit informacije. 7 " 
Prema tome će čestoća prijenosa jediničnih iznosa in- 
formacije biti odredjena frekvencijom: 























1 
f,= -- 
Ta 


Zanimljivo je nadalje razmotriti što se dešava, ako 
uz konstantnu graničnu frekvenciju sistema f, povećavamo brzi- 
nu prijenosa informacija t.j. povećavamo fu. Očito je da će se 
uz T= 21 odnos ATA povećavati, t.j. vrijeme utitravanja 
će dolaziti u red veličine sa širinom samog impulsa. 

Iz gornjih razmatranja možemo zaključiti da vrijedi 
relacija: 


AT fa 
---- = -->- 422.) 






Kakav utjecaj imaju na oblik impulsa različiti odno- 
si £ n/ te najlakše možemo zaključiti pomoću slike 5.13, gdje su 
de utitravanja prikazane pojednostavnjeno u obliku trapez- 
nih impulsa. 

Slika pokazuje da za slučaj fa = fy impulsi jedva pos= 
tižu ekstremne vrijednosti (sistem propušta samo prvu harmoniku): 
dok daljnjim smanjenjem granične frekvencije sistema ( ili po- 
većanjem brzine prijenosa informacija ) nastupa potpuna degene" 
racija impulsa. : 


S4.3.18. Uticaj granične frekvencije na vrijeme utitravanja 


pe provedenog razmatranja proizlazi da izbor granične 
e -sistema_ne_nož može_ se ograničiti samo energetskim od - 














= € š 
- IMA - i 

,» što ima za posljedicu da frekvencija n.t, = 0 pop- 
kontinuirane vrijednosti. Prema tome uvodjenjem sian oz- 
ja i= bo ; nl, = w, možemo napisati: 


3.4. Neperiodički signali 


Pretpostavimo da je signal opisan funkcijom 2(+) 













koja se općenito zadaje za interval - * < t< “, Neka -T 
za tu funkciju vrijede isti uslovi kao kod razmatranja periodisš. La 
kih signala i pored toga neka bude: F(j Co ž S 3 3 za 
i LI ft) e dt (3.25.) 
co _ 1 
S leć | dk Ću (3.23.) "m 
--o9 — 
pa budući da je 124 = 2J i 
Ni As Zlazi 
gdje je M konačna veličina. 
Promatrajmo u prvi čas neku pomoćnu funkciju fi(t) sa 
periodom T, načinjenu od £(+) na taj način da je f1(t)=f(4) za oo 
IL < +4 < -1_ i da se u ostalim periodima ta funkcij je + 
- -5- = < -7s- ja po- mE 2 : 
z 2 š , Bi) = ) -r File " = 
navlja. k 
Na taj način smo postigli da je fi(t) periodička funkcija koja n=- 
se može prikazati Fourierovim redom: 
so 
o 1 ij“ t 
— int E KjeW,)eć = ' 
f(4) = i Ki Ao 1 (3.24.) 2JT " (3.26.) 
2 
n==- o 
n=- o 
gaje aa Bo: Prehan, kada T—e eo , veličina “2. može po- 
Ea Ž 9 koju vrijednost, pa je zato možemo označiti sa 4, 
— 2 -in AN t psi 
2 ' 1 
Ah = -<- S .f(t) e dt de 
T 
«s oo 
š na dt (3.27.) 
Ako period funkcije f1(t), T—* 29 , funkcija f1() će kod gr ni - o 


ničnog prelaza prijeći u funkciju £(+) na čitavom intervalu 

- a <Lt <.+., . . 

Da možemo u gornjim izrazima provesti granični prelaz, moramo , 
uzeti u obzir da za T=e ee, frekvencija prve tarnonike LIE 
a time i razmak izmedju frekvencija susjednih harmonika teži 





nt 
e&gral je izraz za Fourierovu transformaciju funkcije 


0 








= MB = moje 
r — m 
i 1 £& je + 
ik) m de pije do 3.28, 
(+) a O. (3 ) e ( ) 


što je relacija za obrnutu Fourierovu transformaciju, Na taj na- 
šin se neperiodiška funkcija_f(+) predstavlja u obliku suma bes- 
konačno velikog broja harmoničkih titraja sa beskonačno | malim. 
kompleksnim amplitudama: 





51.3. 14. Pravokutni imputa 






1 
đA=---P [JE] deo : +29, 


Za spektralnu karakteristiku možemo tada napisati /prema (3.27.)/: 
Iz gornjeg izraza slijedi: i ro 


* 
P(jeW) = JI _34_ (3.30.) P(j w)= S Alerd  tak = A. eri? ) 
deco : jeo g ) = 


Izraz (3.30.) pokazuje značenje funkcije F(jw). 
Ona izražava t.zv. spektralnu gustoću ili spektralnu karakte - 
ristiku neperiodičke funkcije. Modul /F(j EO )/=F( co ) pred- 
stavlja spektar neperiočičke funkcije, Sama činjenica da o 
može poprimiti kontinuirane vrijednosti kazuje da je spektar_ne- 


periodičke funkcije kontinuiran Za razliku od spektra periodič- 
ke fuskoije koji je bio diskretan, 


E i sin WT o -3G(l1-cos et j = 


_: e 
amt 





Mk c0Je relacije mogu se napisati izrazi za modul i fazu 


PRIMJER :: Talne karakteristike: 
TT 
sin S 
MejaT| 
3.2, SPEKTAR JEDINIČNOG FRAVOKUTNOG IMPULSA e 
Ga 


Označimo li amplitudu impulsa prama s1.3.14. sa A, a njegovu 
širinu sa t  omožemo funkciju koja ga predstavlja napisati u 
obliku: & 
A za of+<T 
f(t)= 
2 za *t<oi>T 
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Izrazimo nadalje energiju pomoću modula spektralne 


Spektar jediničnog pravokutnog impulsa prikazan je na s1.5.15, rarakteristike F( € ), za koji možemo napisati: 










[Ce)]?*=riw).Pr-je) (3.32.) 


ije je F(-j % ) konjugirano kompleksna funkcija za spektralnu 
oću F(J O ) t.j. 
co 
+ X 
P(-j 6 ) = S tr) e či“ tat (3.33.) 


- m 


Da bi došli do željenog rezultata razmotrimo izraz: 





oo : oo 
S [r< a) Vaeo “ S F(ja2).F(-j6%) dw = 
83.15. spektar. amplitvab pravokutnog impulsa -oo -o 
oo o9 : 
. S F(j) 5 £(4) e$ E * atdco (3.34.) 
-e9 ' -o9 


Izraz za funkciju koja predstavlja jedinični impuls možemo sa- 
da prikazati u integralnom obliku: 
Ako izmjenimo redoslijed integracije možemo izraz 


S aa (4% SEE oo š34.) napisati u oblikus 
1£(4) = -& S sin taw - sine%(t_- 22 de 
IT (99) co ' 

o o 


[>] oo 
[PCeo) Zac “ S (+4) [S ieo)ai 5 a0] dt 


- oo -o9 
3.4.1. Energetski odnosi u spektru neperiodičkog signala 


Mjenimo li obrnutu Pourierovu transformaciju na izraz u ugla- 


Pretpostavimo da je napon ili struja fizikalna zagradi slijedi: 


roprezentacija neperiodičkog signala koji opisujemo funkcijom 


£(4). U tom slučaju možemo energiju koja se troši na jedinič“ Č aa 
nom aktivnom otporu izraziti kao: g K Pjev) el “Ša =2lr(4) 
2, (3.2““ 
= t) dt 
s 5 rtu tim daje: 


-o9 
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ie o 
Sl] ae = 2J S [ tw]? d& 
zeb -o0 
i konačno napisano u drugom obliku: 
2 og 
2 [£] 2at= 52 [r(ee)]? dc = 
c9 
+2 [rte)]*aceo -s (3.55.) 


Vidimo, da se ukupna energija koja se troši prolaskom 


signala kroz jedinični otpor može prikazati u obliku sume bes- 
konačno malih komponenata > [r( co )] 2 dV = koje odgovaraju 
beskonačno malim udjelima frekvencijskog spektra, Dobiveni iz- 
raz poznat je u literaturi kao Parcevalova jednadžba. 

Izraz E [PC co )] 2 aw predstavlja energiju koju 
sadrže spektralne komponente signala koje su rasporedjene u 
frekvencijskom opsegu d do oko frekvencije CL . Taj se iz" 
raz naziva spektralnom gustoćom energije. neperiodičkog signala 
i karakterizira razdiobu energije po spektru, ša anticišj 





3.4.2. Prekvencijski pojas propuštanja sistema i izobli - 


šenje neperiodičkog signala 


Već ranije smo vidjeli da realni telekomunikacid“ 
sistemi imaju konačnu graničnu frekvenciju» 
te se preko njih mogu prenjeti samo one harmoničke komponent? 
signala koje su rasporedjene u pojasu propuštanja sistema. I 
ovdje, kao i kod periodičkih signala, možemo postaviti krite“ 


rije prema kojima se odredjuje potrebna širina pojasa ropuš.“ 


ki i 
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sistema t.j. granična frekvencija, Općenito govoreći, po- 
no je prenjeti one komponente koje jačinu ren jna auEr tio 
vni intenzitet amplituda lako se može ustanoviti iz raz - 
je modula spektralne karakteristike, iki 
Konačna granična frekvencija sistema utječe i na for- 
aznog signala, te je i tr g 
mira , j to jedan od kriterija za izbor gra- 











Provedimo vrednovanje sistema na bazi spomenutih kri- 
ja na primjeru jediničnog pravokutnog impulsa, 

Primjenimo ranije izveden izraz za modul spektralne 
rakteristike i napišimo njegovu relativnu vrijednost u obliku: 


eo) | sm BE 
re. gda krr < ma 


O je funkcija oblika 


P(x) -ješaa 





ima maksimume za x. = — 2k+1 

lize funkcije še se ida, a pi: šira e 

BO dof) = popi = ze nalazi eena Pt e 

Mituda veće a 2 fo oNalaziti sve komponente čije su am- 
Me 9,22 A, gdje je A, amplituda konstantne kompo - 


i ma ao nadalje zavisnost veličine energije signala 
. m pojasa 0 do e, o širini tog pojasa, Energi- 
u po 
pojasu frekvencija 0 do ww, može se izraziti 


[rce)]?ae 
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Za jedinični impuls možemo dalje napisati: 


cU 


2. aT 
2 in* (-->>--) 
E = ll? S jat ši d [46] 7 
lo j co 
o 
e, T 
---5--- 
2 2 a 
= at S sin, -š dx gdje je x= sia 
JI x 2 
o 


Nakon integriranja izraza dobivamo rezultat: 





' suduž wb 
val tisiae Fa E 
E =a oq| E (w%,o) GLE 
at 


gdje je Si(w,T) = 





funkcija integral - sinus. 
. Potpuna energija impulsa je A2. Ka , pa će prema tome funkcija 


(s1.3.16.) 


T nA. 
? CO, )a 2 | SL (€ ja mueSum=a 
dt . w,t 


karakterizirati dio energije rasporedjen u pojasu frekvencije 
od Odo Co). 
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51.5.16. Funkcija razdiobe energije 













Slika pokazuje da će u području 0 do W,= Ši- biti 
redjene 90% ukupne energije jediničnog impulsa, Prema tome 
inje proširenje frekvencijskog spektra sistema sa energetsrog 
tanovišta nema velikog opravdanja. . 
Odredjivanje granične. frekvencije sistema obzirom na 
ik izlaznog impulsa u konkretnom primjeru, a što je od važ - 
za praktičku primjenu, mora voditi računa _o strwini boko- 
mpulsa, koristeći iste principe o kojima se govorilo kod pos 
ličkih signela, 


Za JAR Te | ranili jativnih. odnosa. koji Ki iz- 


























Tebno je poći. od ranijeg prikaza vremenske funkcije s odkntić. 
5 impulsa: 





sa ; ao 
o * o 


SOmatrajmo samo prednji bok impulsa (sl.3.16 a.) 
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SL.3.16.a. Funkcija skoka 


fal(t) 





S1.3.16.6. Izlazna funkcija 


Taj oblik ćemo dobiti ako T —e oo 
jediničnog skoka, Gornji izraz u tom slučaju poprima oblik: 


in "e MK 
£, (t) = -4- S sint iq a 
i" co saka. 
o 


akon prolaze kroz idealni linearni sistem šije su _amplitudne i 


Zezne karakteristike pokazane na . 8., anplitude svih Kom < 


ponenata do onenata do granične frekvencije | frekvencije saso vako složenog. signala, [66 


se proporcionalno smanjiti sa prerazsionalno smenjiti ili gov . (pojačanje ili pri&u “ 
šenja), dok će one izvan pojasa propuštanja biti potpuno pris“ 
šene., Fazni odnosi medju komponentama ostat će isti zani na ude 











i funkcija tada ima formi 


NU 


tuj 
A 


H- 





















ozni signal bit će vremenski Zakašnjen ta vrijeme vroleta sig- 


3 e Prema tome možemo o izraz za izlezni gignel: 








sin 6 (4 - 4) 
mor E 15 m ea] a 
Aiz 
a [9+ Si CO s + +0] 


je Si x već spomenuta funkcija integral-sinus. Za t=t, 
snal će imati vrijednosti fizi it) = . š 
ik kako je to prikazano na slici # 16.6. Na slici možemo o pri= 
i jednu fizikalnu | nelogičnost t t. da je za t EK of fi iza )# 0 
značilo da odziv nastupa prije iiina To o je poslj ssdiča 


za ije sistema, 


izlsz- 
Izlazni zdra imat 


ide- 
jer ograničeni spektar frekvencija može imati 


jistira u intezvalu - 60 <t<+oo ,i 
Ski ograničena funkcija ima beskonačan spektar (definicije 


ovih transformacija). 





obretno, 





Ked utim, ako nas interesira općenita priroda izle :Znog 


a osobito razlika oblika _u odnosu na_ ulazni signal, tade spo- 





M osičnost nema e značenja. 











itrmina krivulje u tački t=t,. 
Definirajmo mjeru kralna prijelaza signala iz jedne vri - 





osti (0) u drugu (Ai21)> ž.j. vrijeme utitravanja, kao projek- 
dreska tengente na krivulju izlaznog signala u taški t= to 


ačaka Da i b, na_ vremensku 98. Tako možemo vrijeme ee oinia 





iz- 
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Izračunajmo derivaciju funkcije faza (lt): 


Weg 
sa zizl E S cos CV(t - t,) d&D = 
at g 

o 

ka mo 

T 

t-t, 
i dalje 


[0.0 lim Žizpo sin O glt-to) dig]: 
=t tt, t- to T 


Uvrstivši rezultat u izraz za AT_ izlazi: 








! AT. pa m x. Mao Va 


/ 
L SVE PE Di 
Vidimo, da će kriteri zbor granične frekvencije sisteme b! 


ti veličina vremena mojoj 
ti veličina vremena ure 


Gore razmatrani slučajevi pretpostavljaju idealnu, sd 





nearnost amplitude u šitavom pog jasu do granične Zrekvencije« 


djutim, sa tako idealnim sist 
Mnogo bliži praktičkim slučajevima je sistem sa Gaussovim 


rom prijenosa, N jegova karakteristika je kvalitativno prika2# 


na sl. 3.1€.c. 






ne možemo ed 
fakt“ 


U 
pa 
\n 
3 

f 


A) 


| 
U 
I 
| 





Sl. 316.c. Karakteristika sistema sa Gaussovim 
faktorom prijenosa 


a bi se mogle provesti matematičke transformacije, karskteris- 
* Se definira i za magstirna reesni ie, a Boga je raču- 


' iški oblik: iii 


f: \2 
-(- --) ln 2 
, že 
Af£/£,) za 


__—______ ooo oo non on 


Njen grafički prikaz de dan je na slici 3.16,d. 

Ako se na ulaz takvog. sistema narine napon u formi je- 
Ničnog skoka amplitude U,, šija je spektralna karakteristika 

i U tabeli 5,1,, dobiva se vremenska karakteristika sign»la 


9Brnute Pourierove transformacije u obliku: 


£4) = —e .& (1,89 a2 
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* _u2 


gdje je g (X) a <žčšo Bo+ du, a 


-x 


t 
3 2fg 





54.346. dNormalizirana karakteristika sistema 
sa Gaussovim faklorom prijenosa“ 


Kvslitativni grafički prikaz izlaznog signala u vremenskoj do- 


meni dan je na 81.3.16.8. 
Ako za takav sistem definiramo vrijeme utitravanja! 


kao razmak vrijednosti t/4g = -li t/tg = +1 izlazi: 





o =1 odnosno AT= e_t 


2139 fe 










4.3168 izlazni Sswgnal 


Prenosimo li takvim sistemom informacije u obliku sli- 


da impulsa, i ako opet kao ranije uvedemo frekvenciju 


Za isti primjer kao na slici 3.13. vidjeti kakav utjecaj 
anična frekvencija na oblik izlaznog signala. 
1 slučaju možemo napisati: 


ot fan. 2fn T 











1 2 
rd r4 maa 
saa e poad 2<. 
E area € (55) -(-£) #2) š (-£-) 10>3 820 (23 
v2/ 2 B/|_2_ ad, db 2 273170 \=(1)3 
“ -Z. soo |43V 2/9m%00 _2_ ,_*.K3Y sz ašžugev 
i> dam |" * obi 
M627 265 
£ 
0 
0=-2, #z 2(1)3 
DJ O=23 #Zo9 
hd o s 
U 
=(2) bi =(43 





0>2 #2 0 





Z 2)3 
oza 21) 








SPEKTRALNA KARAKTERISTIKA 


X /sinw? - 
ci 


-j(1-008%7)/ 





LE 2 nT gdje je 
2 


n=0, 1, 2, se. 








[e] 
za 2nT< E L(20#1)7 


za (2n+1 JE < (2n02)IT 


n=0, 1 2, o... 
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mima situacija je takva, da se nikada unaprijed ne može znati 
av signal će egzistirati u pojedinim tačkama sistema. Uzrok 
to leži u tome što se pojam informacije osniva na odgovara > 
j prethodnoj. neodredjenosti. podataka, pa kako s su signali u ma- 
ijalni nosioci informacije to oni takodjer. moraju poprimati 


ičajni ee. Kada bi na izlazu sistema bilo unaprijed poz- 





Na slici 3.16.f, prikazani su oblici izlaznog Signal, 
uz različite odnose fe/fq. 























G= 
kia otrebno« .. Prema. tome sistem je potreban zato, da s se preko njega 
0se unaprijed nepoznati signali i samim tim za odredište no- 
of Medjutim, ipak .od samog početka procesa prijenosa in - 
ii ormacija mi raspolažemo sa nekim podacima 0. signalima. Poznat 
Ari je skup moguć h signala, t.j. skup signala koji mogu biti pre - 
i na promatrani sistem. 
PI. telegrafski sistem ima takvu strukturu, | da se njime mogu 
oo ositi u kodiranom obliku svi znakovi alfabeta. Takodjer je 
A7 =20 ato, o čemu smo već ranije govorili, koji se > signali | pre- 
češće a koji rjedje. 
Na taj način uvodimo pojam statističkih h karakteristika 
fg= 261 Silgnala, koje su sadržane u apriornim pod podacima o signalima, Ra- 
o7: 47 toga će, u općem slučaju, za proučavanje djelovanja realnih 





ema na signale koji njima prolaze, biti potrebno primjeniti 
atističke metode, 

Opravdanost uvodjenja spomenutih metoda još više je 
čevidna kada razmatramo djelovanje šumova i smetnji i na signale, 
nje, koje u kanalu djeluju na korisne signale, u 2 pravilu se 
mog opisati unaprijed poznatim fun funkcijama. Uzrok tome leži 
amoj prirodi smetnji, pa se prema ma tome. na osnovi prethodnih 

) čavanja fizikalnih mehanizama izvora a smetnji mogu odr odrediti 


on ihova statistička svojstva. Iz toga slijedi, da će se 
ajanja signala iz smetnji | moći riješiti 
no primjene ističkih. metoda, 

Svemu. navedenom potrebno je dodati još i to, da se ni 
eamotri samog. sistema ne mogu smatrati konstantnima, Oni tako= 
stoje pod utjecajem niza faktora koji mijenjaju njihove si 


: Fijed poznate veličine, čime one poprimaju slučajni karak= 








————— = 


i ć 
4.31 Uticaj granične frekvencije na vrijeme utitravanja 





Za ilustraciju u tabeli 7.1. navedimo spekvaiia karakteristin? 


ora m o 











o 


mb neperiodičkih signala. 








5,5. Karakteristike slučajnih signala i šumova 


Večinu tehničkih problema povezanih sa. istraživanji“ 
im 


ma na realnim telekomunikacijskim 1 | regulacionim. sistemima neno“ 
guće je do kraja zadovoljavajuće "riješiti primjenjujući samo, 


metoda izvedene. sa determiniranim Signalima » U realnim sis za 


opnom 
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sozitivni korijen 6. je t.zv. srednja kvadratična vrijednost 
čine x(t1) i u općem slučaju je funkcija od tl. Kada funk - 

ja f] ne ovisio t, , slučajne procese nazivamo stacionarnim, 

sljedica te činjenice je, da su gore definirane srednje vrijed- 
i konstantne t.j. ne zavise o t, : Mi 


Gornje činjenica navode nas na to ko, da signale. hh - Šumo- 
ve, to njihove interakcije promatramo ka: kao Slučajne: procese, 
Proces nazivamo slučajnim, ako je je njegova v veličina. _sluča jna ; za 
bilo koju vrijednost | vremena t, te 

Najjednostavnija karakteristika slučajnog procesa. je. jednodinen. 


zionalni zakon razdiobe £a(xi1ti)e Za opisivanje složenih Broce. 











(xp) 
8 ( Te ») 


idalje možemo uvesti i pojam disperzije D (x) . t.j. mje- 
ru rasipanja slučajne veličine x(t1) oko matematičkog očekivanja: 


sa_to nije dovoljno, pa se moraju definirati ik višedimenzional. 
ne funkcije gustoće vjerojatnosti slučajnog procesa (vidi lite. 
ratura /24/ ) f,, >» općenito. do n-dimenzija. Primjene takvih 
funkcija ai: san njihovo izračunavanje zahtjeva složene postup- 
ke, Medjutim mnoga praktičke probleme možemo_ riješiti primjenju- 
jući umjesto funkcija . , druge, jednostavnije karakteristike 
slučajnih procesa. 























nE (=Gp) = 2 [ Goo=[=00]] i ] = (3.38.) 


mL 


3.5.1. Statističke srednje vrijednosti i korelacione funkcije 








Jedna od tih karakteristika je srednja vrijednost 
po skupu ili matematičko očekivanje. Ako fiksiramo moment vre - 
mena t=tl, to će vrijednost signala koji je opisan slučajnim 
procesom x(t) u tom trenutku biti slučajna veličina x(ti1)=F1. 
Prema tome možemo prema teoriji vjerojatnosti napisati izraz 28 
matematičko očekivanje: 


Za B (x(4)] = 0 disperzija se podudara sa 62. 








Ovako uvedene mediji kgijednoski prilično 1 karakte- 
ziraju slučajni proces u odijeljenim: vremenskim tmanucima, | ali 
aju vezu medju v dju vrijednostima slu slučajnog procesa u različitim 
"Temenskim trenucima. 

Statistička povezanost vrijednosti slučajnog procesa 
ET x(t, ) u vremenskim trenucima kB i + , može se približno 
niti pomoću “Eorelacione (ili autokorelacione) funkcije. Ko- 
Ciona ? akcija izražava srednju vrijednost produkta x(t1 )o« 
(9) i definira se kao matematičko _očekivanje tog prokuta: 

















F ( x+) = S xifi(ži>ti) dx] (3.36) 
-o9 ' 


U općem slučaju matematičko očekivanje E(x(t,)) je različito 
za različite vremenske trenutke, što proizlazi iz same defini" 
cije, jer je desna strana izraza (5,36.) funkcija parametra ti* 

Analogno možemo izračunati srednje vrijednosti kvađ“ 


Kk (t1,t2) = 8 (x(4).=(42)] = 


oo Co] 
rata x 2(4 ) veličine x(t,) koje ćemo označiti sa = S S 
g š pa * “i š1+%2 fo(Xp>t13X2»to)drj dz, (3.39.) 
1. -a -eo 
G2-a (240) - S m. dx (3:3 
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stacionarne procae : 
Funkcija fo je funkcija gustoće vjerojatnosti Zajed. 3 . wa tumkolja Kiy ovisi sano o T =to-t1: 
“ovija s. « Ž 
ničke razdiobe slučajnih veličina x(t]) = x) 1 x(%2) = Xx. Ko- . 
relaciona funkcija je u općenitom slučaju, što proizlazi iz K, (T)= E(x(t,).y(4)+ L ha 
njene definicije, ovisna o ty i ta. ' 


Za stacionarne slučajne procese funkcija f, zavi si 














: = o- o eo 
samo o razlici b =t,-t, . Radi toga za dani slučaj i ko- ' 
DOJE BR: BJE Luča. = 
relaciona funkcija K, ovisi samo o 6 : *192f2(%1192, L) dx, dy, (3.43.) 


(E) e Bdx(t,)xC6 + To) ma . 
k, ie + 1 1 tkada E aa računanja pogodnije uvesti normirane autokore - 
ionu fun ciju ; _ ik ratnici 





o: 
a 
= S S X1žofo(Xp,*2» L )dx, dx, (3.40.) ti>to)= a Tate)! - 
- 09. seo = 
U specijalnom slučaju kada je To o= 0 korelaciona funkcija 
poprima značenje matematičkog očekivenja kvadrata x (tp) : Ka(ti,t9) 
POR 


=-----_-=_ 2 LL 2 _ 


F (3.44.) 
> ls(e2aph s (20) 


BH i | T oo =B («2 = G? (3.41) 
Uza jamno korelacionu funkciju: 

Prilikom proučavanja slučajnih signala i šumova, češ“ 
to ćemo imati potrebu da razmatramo karakteristike yeze dvaju 


slučajnih procesa, x(t1) i y(to) u trenucima tl ito “ Takvu ve“ 





Tuča jnih proces: ind VENE, 4:1. IA 
zu karskterizirat će uzajamna korelaciona funkcija Kry tih pro K u 
pi RRPAĐLRE MAPRM 0 RE i vano pica 
cesa, definirana kao matematičko očekivanje produkta x(t1) . 
y(t2) : Kite et 1)E(t2»2t2) 
Kry (tro t2)=B (xGtpyt»h= = 
m. xy(*1:*2) 


=č e --a__ o __ 


T (3.45.) 


oo eo 
2, 
= 5 S x190f2(Xq+*1592+1t2) dx, dyy (3.4 
-oo - o 
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aju nezavisne, Radi toga postaju jednake vjerojatnosti da 
kti y(t).y(+ + TO) budu ili negativni ili pozitivni, a 
ija vrijednost tog produkta postaje nula, Dakle slijedi : 


Normirane korelacione funkcije po apsolutnoj vrijednosti (1 nikada 


a _—————— 


Za ilustraciju fizikalno: 





znašenja sutoknsiasskna 
funkcije razmotrimo primjer superpozicije signala konstantne ane 
plitude a i slučajne smetnje sa nultom srednjom vrijednosti 
(81.3.17.) ' 


ZI 


lim KU Tjeo " (3.48.) 
e co 


tok funkcije Ki T ) kvalitativno je prikazan na slici 3.18.a. 





x(t) =a +y(t) (3.46,) | 

Ky(€) 
a) 

id g 
Kx(Q) 
31.317. Superpozicija sagnala i smetnje 8) ak 
Pp  2 > 
SZ R7 
Očito je matematičko očekivanje tako složenog procesa jednako u 


Razmotrimo najprije kvalitativno tok autokoralacione Ž rd 
funkcije Kul T ) procesa y: 


) %.3.18.Korelacjone funkcije 
KiT)= slyG).y6 +T J (3.47. 


Ako je T omalo, vrijednostiy(t) 1 y(t +) bit Pao) > pi 
vezana i K.( T) će se malo razlikovati od K_(0)=E (y (4) i .. kolja K(T )4 KiT) dk da oi 
Kada € postaje dovoljno veliko, vrijednosti y(4) i y(t 
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Kai Toslla+yowj[ae+rat +7 1) Ž 
3 (a7) A E (ey(t)] + Eloy +1 + B(gltg + TOJ. 
aa (vl) + em(git + TOJ + (rls +T9) = 
-.+KT) 65.49.) 


budući da je E ivo) = B tig +T J 20 
Iz gornje relacije slijedi: 





543.19. Stučajna funkcija 


lim KE(G) = a?  (3.50.) 


Tie 







Krivulja K( TP ) (81.3.18.b.) može težiti kod Too svo - 
joj asimptotskoj vrijednosti a2 monotono ili nemonotono. Što je 
manja ordinata krivulje K ( T) to su manje medjusobne koreli- 
rane veličine [ x(+)-a] i [x(t + )-a] “ 

Po obliku krivulje LSE T)i Li T ) za neki realni proces mo- 
že sa zaključiti, kod koje vrijednosti To, veličine x(4) 1 
z(t + To) praktički više nisu korelirane (interval korelacije)» - x 
Od te vrijednosti G pa nadalje, funkcija Kal T ) praktički je : e DR PRIJE 1) š 
jednaka nuli. 


atrajmo proces x(t) u intervalu I &£+£E+7Ti mjerimo 


tude x, u trenucima razmsknutin zao Ata -H- . Prema 


srenim vrijednostima x.,,x 
1]'žo +.. Zg» možemo izračunat - 
_aritmetičku vrijednost: : , “— 


(3.51.) 


5.5.2. Srednje vrijednosti po vremenu ooŠenjem brojnika i nazivnika sa At 


2T 
= TE. izlazi s 


Ranije smo opisali srednje vrijednosti po skupu ko" 
a, _—_ 


N 
je se dobivaju statističkom obradom skupa slučajnih procesa« i JA rr 
Uvedimo nadalje srednju vrijednost po vremenu, ko- 4 su “ N 
ju dobivamo obradom samo jednog slučajnog procesa (81.35.19) . = zebe 
To je ustvari poopćeno značenje srednje aritmetičke vrijednosti N+ At 2T 2 x" (3.52.) 


x, procesa x(t) u različitim trenucima. i=1 
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Ako provedemo granični prelaz dt -— 0 izraz poprima oblik; 
















Pojam srednje vrijednosti po vremenu, definiran ov - 
ig za slučajni proces, ima svoj fizikalni smisao i za neslu- 
*ajne procesa. ' 

' Neka je x(t), napon na stezaljkama jediničnog otpora 
Trenutna snaga koja se troši na otporu R iznosi: : 


MU 


Ta hu +) dt i ' (3.53, 


-I 


2) =) 
R 1 


i to je srednja vrijednost po vremenu veličine x(t) u konačnom 


intervalu -T St +1. 


vrijednost po vremenu za beskonačni interval: x(t)dt je beskonačno mala energija koja se na istom otporu 
o Sd, Anji VR E ad i AK x 


za beskonačno mali interval dt. Integral 


T 
T 
X= lim .. S x(t) dt (5.54.) ku ' 
..im 28 A lim 5 x2(4) dt (3.57.) 
-I To oo - i 
-T 


Ako na pr. x(t) reprezentira napon tada je X istosmjerna kompo- 
nenta tog napona, 


Analogne srednje vrij dnosti možemo napisati za kvad- 


rate r2(+t) 


Predstavlja energiju koja se troši na jediničnom otporu za bes- 
Konačni interval vremena. Ako je signal x(t) periodički ili 

Slučajan, koji se ne prigušuje kod /t/—= 04 , tada bi ta ener- 
a bila beskonačno velika. Radi toga gornji integral divergi- 








ž 3 1 nema smisla kao karakteristika procesa x(+). Ako se aner - 
12(4) =  1išz uh S x2(t)dt (3.55.) >Ja podijeli sa vremenom, tada će veličina 
2T ' 
T=—e 60 a m 
a 4 S x2(+) dt (3.58.) 
i za produkte x(t)-+x(t + T) 27 
; -T 


T 


a 6.) Kterizirati srednju snagu, koja će biti konačna i kod 
žitjata Tja tim o «-h S xiijzlk + Tja (56 o» vjes a 


o 





Prema tome izlazi da srednja vrijednost po vremenu 
Y ad, > mpi 

ata x(t) karakterizira srednji intenzitet procesa x(t), 
“e možemo nazvati snagom signala x(t). 


-T 


a. 87 
Ovdje treba napomenuti, da ća u općem slučaju, za različite 46 
alizacije slušajnog procesa, srednje vrijednosti po vremenu 
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3.5.3. Brgodički procesi T 
BP lim > 5 x(t)x(t + To) at (5.63.) 
Sluča ini proces je ergodički ako je sa vjerojat - T-> oo 2T ' 
nosti jedan, srednja vrijednost po skupu veličine koja. karak s -T 








terizira proces jednaka srednjoj vrijednosti po vremenu: 
fa taj se način autokorelaciona funkcija ergodičkog procesa. 


K(T ) može razmatrati kao srednja vrijednost po vremenu, pro= 
lukta x(+).x(t + TT). 

Dva procesa x(t) i y(t) će biti uzajamno ergodička, 
ako vrijedi relacija: 


g fx) = x (3.59,) 






ili drugačije napisano 


vo sd B (x(6)y(4 LE )) =x(t)yit+ TT) (3,.64.) 
5 zifi(lži)dai = lim . k x(t)dt (3.60,) ; 
85 T—e> co 2T : što daje mogućnost da se uzajamna korelaciona funkcija napiše 


u obliku: 


žornja relacija dakle vrijedi samo za ergodičke procese, a jas- 
no je da takvi moraju biti 1 stacionarni, 
I za ostale srednje vrijednosti mogu se napisati uslovi za er - 


K] sa g 

Kylt )= S S xiYofo(žqeTa: €) dx dyo = 
ek. -os9 

godičnost,. Tako je: 


id 
s (=20) 2 (3.61.) E im S zec + T)at = (3.65.) 
Do eši 2T 
-T 
a isto tako 
«3. da se razmatra kao srednja vrijednost po vremenu, 
E (26) .xG6 +1 | =x(t)xt + T) <.“ (3.62.) . Svojstvo ergodičnosti ima i veliko praktičko značenje. 


KOd razmatranja takvog procesa nije potrebno promatrati skup rs- 


Ovo posljednje ima naročito značenje, jer pokazuje još jedan 
put cako se za tu specijalnu klasu slučajnih procssa može doći 
do koralacione funkcije. U drugom obliku možemo relaciju (3.52) 
napisati kaos 


19 edne realizacije. 


az (3. 65,) otkriva vezu izmedju snage signala i njegove ko- 
Slacione funkcije. Ako se u tom izrazu stavi T =0 izlazi: 


[><] co 2 
r2 
Ku T)= S 5 z1žofo(X1,%2> TT) dxy dxo = mo 5 oj: (t)at=x2(4) (3.66.) 
-oo - o o 


Lakle ,. snaga signala jednaka je vrijednosti sutokorelacione funk- 
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cije kod T =0, 'likom proučavanja prijenosa slučsjnih signala preko linear- 


sistema, 
3.5.4. Spektralaa gustoća Iz svojstva Fourierove transformacije proizlazi da će 


sa sa proširenjem funkcije Kul €) njen frekvencijski spektar 
Kao i kod determiniranih signala, pogodno je X ; 


slučajne signale opisati pomoću njihovih spektralnih h karakteris. (co ) će se proširivati, 
tika primjenivši Fourierov integral, m. 

Medjutim, odmah treba napomenuti da stacionarni 
slučajni proces :(t), koji nije prigušen ako /t/—> 22 ne za- 
dovoljava uslove za razvoj pomoću Fourierovog. integrala. Iz to- 
ga slijedi, da je nemoguće neposredno računati frekvencijski 
spektar funkcije x(+). Kada bi to bilo moguće, i sam spektar 





Objasnimo fizikalni smisao spektralne gustoće S Je 
primjenimo izraz (3,66.) uz 6 =0: 


T 


2 l Ć 2 1 ; 
x“(t)= lim me see t) dt= —-=- S (G)aco = 
T-eoo 2T dio 23 ' 








bio bi slučajna funkcija. _7 _o 
Medjutim, ipak postoji mogućnost, da se kod Fou - 
rierove_ transformacije upotrijebe one karakteristike slučajnog 
procesa koje nemaju slučajni karakter, To su prije svega kore- 29 
lacione funkcije. = >. S s (GW) de (3.69.) 
Wiener i Hinčin su dokazali, da se funkcija K gri stacionar- s * 2 
o 


nog ergodičkog procesa može prikazati Pouelenivix integralom u 


obliku: 
udući da je funkcija 5 .(c0o) parna može se integriranje pro - 
o ' = vesti samo po jednoj poluosi, 
(e) a S kT ) arie aT (3.67.) Gva relacija pokazuje, da 36 snaga slučajnog signala 


(Mjera intonzivnosti signala) može prikazati u obliku beskoneč 
de sume, beskonačno malih komponenata > S ( Wwjdeo, koje | 
“aSporedjene po svim frekvencijama od 6 do eo , 

Svaka parcijalna komponenta sume ima ulogu snage, ko= 
id Odgovara beskonačno malom udjelu spektra signala izmedju & i 
3 + deco, Ta snaga je proporcionalna vrijednosti funkcije 
Bio) za danu frekvenciju, Iz toga slijedi, da je fizikalni 
Misao funkcije S.( 0) u tome, što oma opisuje razdiobu sna- 
2 Slgnala po frekvencijskom spektru. 

u analogiji, možemo uvesti i uzajamnu spektralnu gustoću 

xy ) dvaju ergodičkih procesa x(t) i y(t) : 


ta 
e 


i obrnuto, funkcija K_( TT), može se izračunati iz S_( cu) pur 
tem obrnute transformacije: 


KE aose S s() ed?" dcw 


Budući da je K( To) neslučajna karakteristika slučajnog PT9 "“ 
cega, to će i njena Fourierovs transformacija ŠI (6) biti ne" 
slučajna karakteristika istog procesa. Maskelda S.( ) nazi“ 
vamo spektralna gustoća slučajnog signala i ima plaćen ulogu 


og 


S p(eo )= S kT) edit at (3.70.) 


- o 
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i obrnuto: ojednostavnjuje rješavanje problematike pa je zato i opravdana, 
2 ? 
Kay T )= _E 3 Boyle )e3? dcv (3.71.) 
PRIMJER: 


3.3. SPEKTAR BIJELOG ŠUMA 
Neka je K( T) = S(T) t.j. korelaciona funkcija je "delta" 
impuls. šmkoži« Ka T)eđ(T) jednaka je nuli za € #0. 
To označuje, da su vrijednosti slučajnog procesa,odabrane na 
po volji malim, sli različitim od nule, vremenskim razmacima, 
nekorelirane. Dakako, da takav proces predstavlja idealizaciju, 
U stvarnim procesima medju bliskim vrijednostima uvijek postoji 
Izračunajmo spektralnu gustoću S (e ) procesa s ko- 


relacionom funkcijom Ky( T)ae dg T): 


2 = 
3(W )= S foriari“" gre jet). 1 








51. 3.20. Korelaciona funkcija i spektralna 
gustoća bijelog švma 


Na slici 3.20, prikazane su funkcije K( T) iS(W). 
Funkcija a (CO ) za dani slučaj jsadataviganu je narizontalni# 
pravcem t, n frekvencijski spektar je ravnomjeran. Stacionarni 
pd mda 
slučajni proces s zavoenjennH Zege JEK nje 5x kad )= 


——— 


: Idealizirani karakter bijelog šuma vidi se i iz svoj- 
mre disperzije. Srednja vrijednost veličine x2(4) može se na- 





kojoj su zastupljeni svi udjeli spektra. U mnogim A nrEra E 2. a m o 
——— = = 3 
slušajevima možemo smatrati smetnje (na pr. unutarnji šum pri- x'(t)= a 5 S.( )deu = mos Fot nome S des = 00 
jemnika) bijelim šumom. Medjutim treba uvijek imati na umu đa ST 

o 


je bijeli šum produkt idealizacije, jer procesi ) x(t) sa neko- 
reliranim susjednim vrijednostima realno na postoje. Radi te 
idealizacije, frekvencijski svektar S (EO ) dolazi do vrlo vi“ 
sokih frekvencija. 

Medjutim, ako su te frekvencija toliko velike, da prt 
razmatranju nekog konkretnog uredjaja leže izvan njegova pojas? 
propuštanja, tada idealizacija smetnji u obliku bijelog šume 


, “nom slučaju disperzija prikazuje snagu šuma, i iz računa iz- 
“E da je ona beskonačna. Medjutim jasno je da je snaga bilo 
ikvog realnog šuma konačna veličina, 


U nastavku ćemo tabelom 3.2, prikazati korelacione 
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k 
* 
“E 
/ 


TAB, KA ad 









nkeije i spektralne gustoće za neke slučajne procese, 






3,6. Mogućnosti prikaza signala 


UVLTIZ INU 


-NSAZSHNZOZSIN INIVETI 


EVITIZ INL 


>NSAZGUZOZSIN ACsSAVĐ 





NAS ITSfIG 


3.6.1. Fizikalni i matematički prikazi 


UVLTIH 94 
IHINSAXZGEZOZSIN 


š 
f 
FE 
š 
g 


rezultati, komande i t.d.) moraju se prije prijenosa nekim 
temom pretvoriti u odgovarajuće signale, Jedan te isti sig - 
može imati različite fizikalne reprezentacije (električka, 
čne, svjetlosne i t. d.). 

——— TU daljnjim razmatranjima mi ćemo se ograničiti sa- 
mo na matematičke prikaze signala bez obzira kakav je njihov fi- 
zikalni ekvivalent. 

Matematički prikaz signala razmatra samo vremen - 
sku ovisnost primarnog ili transformiranog _ signala. Razmatranje 
lamo matematičkih prikaza signala uslovljeno je time što nas 
avnom ipteresira moe signala prilikom prolaza kroz 
eme sa stanovišta izmjene njihovih oblika i zaštite infor - 


nacije koja je u njima sadržana. 


UVLIIZ ITI Sq90H4 


Informacije različitog oblika (govor, muzika, mjer- 











ZVEZI IZDILITVNV 











VIIDXZNN4 VNOIOVISNOZ 


dvuĐ 




















Prilikom razmatranja različitih matematičkih pri 
kaza signala, smatrat ćemo da se transformacija signala provodi 
prolazom kroz jedan od blokova sistema, koji ćemo nazvati kon - 
ter (pretvarač) sl.3.21.). 

njegov ulaz. ; dovodimo primarni signal (ulazni signal) X, (ili 
Cup signala) u obliku odredjene vremenske funkcije, od id kojeg 


aje nakon a transformacije izlazni. signal ; x ža prijenosni. sig- 

















ZVEZI IMIGITVNV 


Karakteristično Svojstvo konvertera je to, da se. 














ntu ili nekom intervalu u u neposrednoj. blizini, može reprodu - 


srati trenutna vrijednost ulaznog, primernog_ signala. 
Vrijednosti ulaznog signela odred juju & se _po jednom 


NJOLSNO VEIVELES4S 


gva9 
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od parametara izlaznog (prijenosnog) signala, Na pr, ako jes Pri 


jenosni signal harmonička funkcija, on može vrijednosti sti ulaznog 
(primarnog) signala se sadržavati u jednom od svojih parametara: 
amplitudi, frekvenciji ili fazi, Taj parametar će se tada nazi. 
vati informacioni parametar, 2 





Ko 





54321. Pretvaranje signala 


Svi oblici matematičkog prikaza signala dijela se na 
o 
tri osnovne grupe: kontinuirani (analogni). prikaz, diskretno. - 
analogni pr: prikaz i diskretni prikaz, Razmotrimo u nastavku đe - 


taljnije pojedine prikaze. 











3.6.2. Kontinuirani prikaz signala 


Kod kontinuiranog prikaza signala infornacioni pa“ 


rametar_ izlaznog signala odredjuje primarni signal u svakom tre 


nutku vremena, U najjednostavnijem slučaju konverter 2 se 
mo mjerilo, dok oblik signala ostaje isti, Izlazni signal x zad 


jenja se kontinuirano, kako po amplitudi“ tako i po vremenu. jA 
Kao praktički primjer kontinuiranog prikaza sign2 
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o navesti zvučnog (govornog). Signala u 








43.22. Pretvaranje govornog signala 


tom primjeru primarni Signal je zvučni signal, karakteriziran 
ijenom pritiska. p_po vremenu. Izlazni signal, -napon na ste- 
kama sekundara mikrofonskog transformatora u(t) mijenja se 


dnuirano kako po veličini, tako i po vremenu, Izlazna ve- 













3.6.3. Diskretno-analogni prikaz signala 


Postupkom diskretno-analognog prikaza izlazne 


Ike ije mogu se kontinuirano mijenjati (mogu poprimati sve 


S nosti) samo po amplitudi, dok se Po vremenu vrši _kvan. - 
anje, N 








No načinom prikaza, informacioni parametri izlaznog signa- 
Prikazuju veličinu primarnog signala samo u odredjenim dis- 
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pi 
kretnim vremenskim intervalima. 
PA anodi dij tikii i oi ae sj a A, SRA 


Xo 


pit) 


u(t) 





54323 Govorhi signal - kontinuirani prikaz 


U nizu primjera navodimo nekoliko mogućnosti takvih 
rikaza. 


prik 





Slika 5.24. prikazuje mogućnost gdje se amplituda 
pr njuje kao informacioni parametar, Visokofrekventni tit- 
rimjenjuje kao informacioni paramešar 
raj.x(4) svojom vršnom vrijednosti slijedi veličinu primarnog 
signala. 


rr 


%.3.24.Diskretno-analogni prikaz signala 
informacioni parametar:amplitvada harm. titr. 










Očito je to diskretno-analogni. prikaz budući da vršne 
vrijednosti mogu nastupiti. samo u diskretnim vremenskim trenu“ 


cima ovisnim o frekvenciji titraja, a njihova veličina može 


poprimiti. kontinuirano bilo koju. vrijednost. 


Umjesto harmoniškog. titraja može se za prikaz ampli- 


Primjeniti : slijed pravokutnih impulsa (sl. 3.25.) jednake 
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la x ustanoviti samo u diskretnim vrem menskim trenucima, 


širine i frekvencije, koji svojom amplitu jom_amplitudom prikazuju Vrijed. 
s i 

nosti primarnog signala u diskretnim iskretnim vremenskim trenucima, Am 
=-—_——_ = —————————— 
plituda impulsa može poprimiti. kontinuirano bilo koju vrijed 
nost. 





Pored auplitude možemo i druge karakteristične veli- 
* izlaznog signala primjeniti u svojstvu informacionog pa - 


a. Tako na pr. u slijedu impulsa jednake am litude može 
ova širina prikazivati vrijednosti primarnog og signala para 





















Xo 





513.26. Diskretno-analogni prikaz aknala 
informacioni parametar: :šlrina impulsa 


51.25. Diskretno-analogni prikaz signala 
informacioni ( poramefar: amplituda impulsa 


=Imnacioni parametar. izlaznog signala. o: ša 
Navedeni = daju dovoljan uvid u smisao _ dis. - 


4 Pravokutni impulsi slijede sa jednakim periodom T. 
čina impulsa ja različita. Relativno v vrijeme T - + je 
dmi d aj, | F 


Vrijednost ulaznog signala x, može. so na temelju izlaznog si&_ 
-—————————— 
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5.6.4, Diskretni prikaz signala 


























U slučaju diskretnog prikaza izlazni signal je 


kvantiziran i po vremenu i po 
iz zlaznog laznog signala može poprimiti samo niz dozvoljenih d: samo niz dozvoljenih dig "krešnih 


vrijednosti, i osim toga te vrijednosti možemo oga te vrijednosti možemo ustenoviči samo 
u odredjenfit diskretnim vremenskim trenucima. Broj diskretnih 





plitudi, “Informacioni Parameta, 








vrijednosti kako. informacionog parametra tako _. i vremenskih tre- 

nutaka može bit biti bilo koji. Jasno je da će diskretni prikaz, m 
slučaju. kada ada broj. dozvoljenih. vrijednosti informacionog | _Paramet. 
ra teži k beskonačnosti, | postati analognc o-diskretan, au sluča- 








ju k kada i broj vremenskih trenutaka teži u beskonačnost diskret- 
ni prikaz prelazi u u kontinuirani. Gornje činjenice pokazuju, oda 
oštre g granice medju pojedinim prikazima nema, | 

U ok open ... veliku E deni diskretni sm sa relativno 























Slika Be 27. prikazuje primjer diskretnog prikaza signala. Sa 
A+ i A x označeni su intervali _kvantiziranja po vremenu i 
anmplitudi, Za prikazani. primjer mjer je izlazni signal slijed pravo- 
kutnih impulsa, Informacioni parametar. je amplituda impuisa«" 
Broj stu njeva amplituda za razmatrani primjer je 8. U preksi 


se pokazalo da je prikaz sa impulsima sa relativno velikim bro- 
jem stupnjeva amplituda veoma podložan djelovanju smetnji. Za- 














g 9.3.27. Diskretni prikaz signala 
to se e češće primjenjuju samo dva stupnja amplitude, a infornac; 


ja o ulaznom signalu prikazana ji je odgovarajućom kodnom kombina“ 
cijom odredjenog broja impulsa u intervalu AG (digitalni , pi 


kaz analogne veličine). 

Za prikazani primjer bilo bi potrebno tri impu- 
mjesta gdje_ bi impulsi sa svoja dva stupnja 1" ili ng" ong" mogli 
prikazati. svih osam. n dozvoljenih stupnjeva > amplituda ulaznog #46 
nala (81.73.28, ) 
» Ako. impulsima. na pojedinim 1 spam griđodana 005 
govarajuće težinske vrijednosti i to: lo 20 2 ENE 3-2 ; 
tada kombinacija imqulsa daje Kcapleksiji dinernog koda | čiji 


dekadski € ekvivalent odgovara v vrijednosti dozvoljenog “stupnja; 
plitude ulaznog signala, 

















ulsn# 


Kod oba primjera diskretnog prikaza signala unosi 
: Bostupkog Krem izisšnja hoka pogreška, Pjetsizdgangaa p 

















amplitude razmaknutih | za odredjeni. interval. iko se o Rrasi 
u na vrij ednost st ulaznog signala nalazi unutar nekog in- 
Vala (+. j. ima Zabranjenu vrijednost) < ona se žanjenjuje bli 
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žom dozvoljenom vrijednosti, Raster dozvoljenih. stupnjeva am- 


pliti tude. nazivamo rasterom. kvantiziranja a interval - - _ korakom 
kvantiziranja. 

Jasno je, da što je manji korak cr kvantiziranja, to | će biti ma 
nja po: pogreška i sam kroees. kvantiziranja nije ništa dr drugo nego 


zaokruživanje. brojeva na. na vrijednosti koje odgovaraju dozvolje. 


nim im stupnjevima amplitude, Uz odredjene uvjete, takvo 2aokru- 


živanje | neće. unositi gubitke informacije. 
































SANU Na aa 








843.28. Digitalni prikaz analognog signala 


18“ 
Izbor rastera kvantiziranja ovisit će u realnim g 


temima 0 veličini. smetnji koje su prisutne u signalu n 





































ad. koji 
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Do provodi proces kvantiziranja. 
g f o dan 





5.6.5. Teorem uzoraka (Teorem Koteljnikova) 


Promatrajući kvantiziranje po vremenu, koje smo 





JA je očekivati da ne ravilan izb * inter kvantizi - 


može dovesti do gubitka informacije, budući da se pri tom 
su gubi dio informacija o ulaznom signalu, a < ostaju. samo 
o uzete u diskretnim trenucima, 








Medjutim, postoji jedno svojstvo signala u real- 
sistemima, koje uz odredjene uslove dozvoljava da se u. pot- 


ti sačuva informacija, iako se uzorci ulaznog signala uzi= 
samo u diskretnim trenucima vremena. To. svojstvo nam poka- 
| teorem uzoraka (Koteljnika) koji možemo formulirati na 
jedaći način: 

' Signal, koji je opisan funkcijom sa ograničenim 
enci jskim spektrom, u potpunosti se_moža odrediti. uzorei- 
tim u diskretnim intervalima vremena: 
B = širina s ektra signa j 


Usloy ograničenja frekvencijskog. spektra Signala 
Se uzeti da je uvijek ispunjen. u realnim sistemima, Sig- 


























dene -2b- , gdje 














9 ogranićenje nastupa. prolazom kroz realne pra sa konač- 
zg aničnom frekvencijom, 


Te činjenice. dozvoljavaju primjenu teorema uzora- 
a bilo kakav realni signal koji se prenosi realnim kc komuni 








orma spektrom, na_ izlazu. sistema dovoljno dao 
temom prenose samo uzorci amplituda. uzeti na intervalima. 
(s1.3.29.). 
MO teorem uzoraka: 
Neka je signal koji prenosimo sistemom opisan 
Še ijom (4) kojoj odgovara spektralna karakteristika a Nic) 
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[vaj 
različita od nule samo u frekvencijskom pojasu od 0 do f & 
—-— &" -2gr8 
tada prema izrazu (3.27.) za obrnutu Fourierovu žransformaciju X 
izlazi: 








cb 
8 


. jet 
f(t)= JI S P(jW) e“ 


- M 


deo (3.72) 


Iz gornje relacije možemo odrediti vrijednosti funkcije ft) u 
diskretnim trenucima , gdje je n bilo 





koji ci, cijeli broj: š 









>Ja KE 
f(n Ot)= = S P(jw)e  $ dcw (3.73.) 


===. 8 ii aveniji 





f(t) 


rlat) #20) #34) ..-- 





At 24. a4t.... 


51.3.29.Uzorcj kontinuirane funkcije 


- 19% + 


S druge s. znamo da je funkcija F(jew) Zadana u 
kervalu izmedju - < i + , te je možemo smatrati. perio - - 
om u eine domeni sa frefvencijskim periodom Ta = 
koji u možemo produžiti na čitavo pPodručao od - o, do+090., 
ivši u izraz K5a 112) <. ru = s. frekvencijski. pe- 


dobijemo razvoj u Pourisrov red : Krakranotjsta funkcije 














oo in seo co 
P(j0W) = -7- I Ae = 
n== co 
e9 j ra co 
= g 
= -5- ) A e (5,.74.) 
n=- 9% 
gdje je 
€ -i2 alo 
Pg 
= --- F(jics dc0o 
rm S (ij) e (3.75.) 
g 
- co 
g 


Mmpleksna amplituda, ali za frekvencijsku domenu, 
alje možemo usporediti izraze (3.75.) i (3.77.) za ru i 





(3.76.) 
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Usporedba pokazuje, da je Fourierov koeficijent An proporcio- 29 pm i A+) 
nalan vrijednostima funkcije £(4) u diskretnim vrenenskin tre Bf4) = ) fin At) oošossi hda a a» 
nucima n+A*t = =? . Red_ (3:74:) uz poznate. arraljnnita "a ' so) g(t-u O+) 
u | potpunosti-od: je funkciju P(jw) u intervalu (- a, ww), n=-o9 
Budući da je F(j CU) spektralna karakteristika funkcije f(4) m. 
se time i ona u mope o? Prema_ tome_je dokazano : 
B= == o9 = 
de č )? = sin JI (2f_t-n) 
ti njene uzorke u diskretnim oraereon n intervalima \t a * Bf = » f£( = ) za euaa (3.78.) 
Prema tome, koristeći gornje relacije, mož mo napfsa- 5 Je g Po. 
ti izraz za funkciju (+4): n=- 009 
(ot) oo nl, sin I (2. t-n) 
g _ i KR o funkcije “2 prikazan: je na illa še zid 2 u 
£(*) . > S ej ot ) he dWw = (zreo) 
49 : 
= w, n=- %9 
co 
2 g 
- -5—- * £(-no*) S ej Lit+nA%) gov = 
4J feg 
n=-e9 a" 
zA . 
2sin WW _(t+nA*+) 
m. ) f(-nA +) “-_--—--8__-__--_— (3:77:) 
2 Co t+n dt 
g = A 
n=- 2 


Budući da se sumiranje izvodi po cijelom brojnom pod“ 
ručju, to se predznaci n mogu izmjeniti pa konačno izlazi: 


. 
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Os simetrije funkcije nalazi se na vrijednosti t n=i Oteo 
gdje je f funkcija jednaka jedinici, U U trenucima t pai gdje“ je 
kn ona_je dadne ša nuli. Iz toga slijedi, da će Susa | (3. 78, ) 
u trenucima t= -5f—- dati vrijednosti funkcije f(s7--)> budući 
da su svi ostali čŠenovi u u tom momentu jednaki nuli.. 

Realni signali imaju svoj početak i kraj prema tome 
imaju. konačno vrijeme e trajanja T, T, Uvjerili smo so da takvi slg- 
nali ne mogu imati ograničeni frekvencijski spektar, Medjutim 
kako ti realni signali prolaze realnim sistemima njihov spektar 
će ipak slabiti sa porastom frekvencije, i nakon neke granišna 
frekvencije fg više neće biti značajan, Prema tome možemo zak- 
ljučiti, da teorem uzoraka možemo sa dovoljnom tačnosti p i primje- 
niti na sve realne signale. Pri tome smatramo, da će funkcija 
£(t) ograničena intervalom T biti odredjena sa 
uzetih u jednakim intervalima dt = KH. s . Prema tome. Ga. za 
odredjivanje. neke funkcije u intervalu alu f biti uv uvijek potrebno. 
a * 2feT p podataka, koje | nazivano koordinate signala. 

Teorem. uzoraka može se takodjer primjeniti i na slu- 
čajne signale, koji imaju ograničen spektar. 

Teorem uzoraka ima važnu primjenu u proučavanju komu- 
nikacijskih sistema, jer on omogućuje pretvaranje svih sistema, 


pod odredjenim uvjetima, u diskretne. Osim toga on je baza za 

















= 2£.7 uzoraka 


San 












sva impulsne modulacije signala, te će u nastavku često biti 


primjenjivan, 





KONTINUIRANI KOMUNIKACIJSKI SISTEMI 


4.1. Sadržaj informacije i entropija 


U 2, poglavlju razmatrali smo definiciju i svoj- 
a sadržaja informacije i entropije koji se primjenjuju u 
ocesima obrade i prijenosa diskretnih vijesti 1 signala. U 
stavku ćemo te pojmove poopćiti na slučajeve kontinuiranih 
jesti i signala, koji se odlikuju time, da ih se može u ko- 
čnom vremenskom intervalu (0,T) prikazati odredjenim kontinu- 
anim funkcijama vremena, Uzevši u obzir odgovarajuće razlike 
u tehničkoj realizaciji pojedinih blokova komunikacijskog sis- 
tema prikazanog prema slici 1.1., možemo istu općenitu shemu 














Označimo realizaciju kontinuirane vijesti na 
ulazu bilo kojeg dijela promatranog sistema prema sl, 1.1. sa 
Xx(t), a realizaciju izlazne vijesti (signala) sa y(t). Općeni- 


šustoće vjerojatnosti. Prema tome može se to primjeniti i ovdje, 
ba skup ulaznih vijesti x(t) opisujemo sa funkcijom gustoće 
Yjerojatnosti f(x), a skup izleznih vijesti y(t) sa funkcijom 
Bištoće vjerojatnosti f1(y). 

j Statistička veza izmedju ulaznih i izlaznih 
Vijesti xdt,)i y(t,) u trenucima t, i t, karakterizirana je 
Uža jamnom funkcijom gustoće vjerojatnosti fo (x,y). Za funkci- 

5 Zustoće vjerojatnosti vrijede odnosi analogni izrazima (2.1.) 
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£o(x,9)=f1(x) .f9(9/x)=f1(9).£1(x/9) (4.1.) 


Promatrajmo kontinuiranu funkciju x(+) prema sl. 4.1. 





84.41 Kvontizironje signata 


Podjelimo interval vremena (0,T) pomoću tačaka t., ti= Bt, 
e. tim do Bt, e tzzk d t=T, na k elementarnih brdia 
tervala jednake dužine At, te označimo vrijednosti funkcije 
x(+) u spomenutim tačkama sa x =x(t,), gdje je iz=0,1,..... Ke 
Takvom podjelom proveli smo već ranije spomenuto PRO 
kontinuirane funkcije x(t) po vremenu, gdje vrijednosti zeli 
predstavljaju uzorke funkcije x(t) u ekvidistantnim vremenskim 
podintervalima ty. 

Interval mogućih vrijednosti funkcije x(t), izmedju 
Xu (ix (t) takodjer podjelimo na elementarne podinter i 
valš dotoijav nala širine “A x. Nakon tako izvršene diobe (KY? 
tiziranje po amplitudi - stupnjevanje), vrijednosti funkcije 
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x(t) u pojedinim vremenskim podintervalima prikazivat ćemo na 
slijedeći način: ' 

ako se stvarna vrijednost funkcije ( vijesti ) x(t) u nekom tre- 
nutku vremena t; -5-0t nalazi unutar nekog podintervala 
Xa .x si" A x tada se ona nadomješta sa onom diskretnom 
grijednosti xa ili Xu -1 koja je bliža stvarnoj, ; 
Analogno kvantiziranje po vremenu i stupnjevima am 
plitude možemo provesti i za funkciju y(+) za interval (0,7), 

0 načimo vrijednosti funkcije y(t) u tačkama uzimanja uzoraka 
ga yjvitj), gdje je j=0,1 ... £, & interval kvantizirenja po 
amplitudi neka budeš Ary. 

Nakon ovako provedene transformacije, kontinuirane 
vijesti x(t) i y(t), zamjenjuju se stepeničastim krivuljama 
(sl. 4.1.). Takav postupak sa u praksi provodi prilikom proce- 
pulsnih modulacija o kojima će biti kasnije detaljnije govo- 


Upravo izneseni postupak zamjene kontinuiranih veli- 
čina sa diskretnim ima i svoje fizikalno opravdanje, 

Funkcija x(t) 1 y(t) u praktičkim telekomunikacij - 
Skim i regulacionim sistemima bit će realizirane sa odgovara - 


ičina, Trenutna vrijednost tih veličina predstavlja neku. 
Vijest, te da bi se ona saznala potrebno je tu vrijednost na 
Odgovarajući način indicirati. Sasvim je jasno da savršeno tač- 
Nih indikatora nema, te svaki indikator ima odredjenu konačnu 
tačnost indikacije (tačnost mjerenja). Drugim riječima indi - 
Or ne može indicirati beskonačno mnogo različitih vrijednos- 
koja bi kontinuirano prelazile jedna u drugu. To znači da 
Svaka izmjerena vrijednost "u" prikazuje stvarnu veličinu iz 
tervala u+ -%- gdje je d tašnost indikatora. Prema tome 
finije" vrijednosti od onih koje se razlikuju za tačnost mje- 
Tenja ne možemo indicirati, pa je stoga opravdano govori- 
Fi 9 stupnjevima amplituda gdje se Za prikazivanje kontinuira- 
Zdh veličina uzima raster sa finoćom Arili_ A Y, gdje su 
Yelišine Ari A y približno jednake tačnosti indikatora 

» Na tačnost indikecije utječe kako tačnost sanog indi - 
atora, tako i udio smetnji i šumova u mjereno veličini, 
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Nakon prelaza od kontinuiranih vijesti na diskretne, (ovdje možemo koristeći nejednadžbu (2.26.) provesti dokaz da 
moguće je umjesto funkcija gustoće vjerojatnosti, razmatrati 1 A 
je 
vjerojatnosti kake slijedi: F 


P(xg)=f1(x,) O «, Plyj)=f1(y,) Ay kod čega se znak jednakosti odnosi jedino na slučaj, kada je 


f.(x/y)=f1(x). 
y Po analogiji sa izrazom (2.28.), možemo odrediti pot- 
puni srednji uzajamni sadržaj informacije definiran kao: 


P(X1,94)sf2(xysy,) Ax * Ag (4.2.) 


Na tako formirane diskretne vijesti možemć- primjeni- 
ti izraz (2,4.) za uzajamni sadržaj informacije, te prešavši na 


.Y)= ; = £,(x,y)l(x;y)dx dy = 
granične vrijednosti kada Ar—0 i Ayg—, dobivano Kar)= 9 fly) I(K5y)dy 5 5 gp jd 


X 
definiciju uzajamnog sadržaja informacije izmedju bilo koje dvi- y Ž 
je vrijednosti ulazne vijesti x i izlazne vijesti y, u vidu re- 
lacije: 


f(x, * £ 


Tal) fi(z) 


>, 


Takodjer se i ovdje možemo uvjeriti, da potpuni srednji uzajam- 
ni sadržaj informacije ne može biti negativna veličina: 





r,š (4.7.) 
f.(y/x) nn 4 : 
aid = (y3;x) (4.34) | 

fi(y) gdje znak jednakosti vrijedi onda i samo onda kada su X ir 
Statistički nezavisni. ; 
' Uvrstimo li u relaciju (4.6.) izraz sa I(x;y), može- 
Prema tome izraz (2.4.) ostaje na snazi i za kontinuirane vi= mo napisati: 
jesti, s tom razlikom što se umjesto vjerojatnosti, uvrštavaju 
funkcije gustoće vjerojatnosti. 
Analogan izraz za (2,24.) u kontinuiranom slučaju za 


srećnji uslovni sadržaj informacije je: 


£,(x/y) 
Ix;r)= S s fo(x,y)1d tylfv) dx dy = 


y x f(x) 


I(X;y)= S I(x5y) f1(x/g)dx (4.4.) = . f1(x) 1d f,(x) dx iS $ £o(x,y) 1d f,(x/y)dzdy (4.8.) 
X X 


y 
x 


gdje integraciju treba provesti preko svih mogućih vrijednosti ?* U gornjem izrazu prvi član na desnoj strani ina značenje entro- 
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oja kadija Gra niju transformaciju, koja se sastoji u promjeni mjerila: 
pije za i j 


! 
X = dr, g =y 


H(X) = - S £1(x) 1d £,(x) dx (4.9.) rema izrazu (4,9.) možemo napisati: 


x ' 
' ! 
drugi šl č k i g “ ća be -š_ -ž_ ! 
a drug an, značenje ia entropije za kontinuirane vijesti H(x)= S f,(x)14 f1(x)dx Pa S ze )14 u a dx 


H(X/I)= - £,(x,y)1d £,(x/9) dx dy (4.10.) 
"2 1 


š s ' | Funkciju gustoće vjerojatnosti za novu varijablu x' možemo izra - 


Analogno se može doći i do izraza za entropije H(Y) iH(Y/X). 


Primjenivši tako definirane veličine možemo izraz za potpuni sred- 1 f(x) t4(-2) 

nji uzajamni sadržaj informacije napisati u obliku: | fi(x Za PE “ E 
I(X;I) = E(X) - E(X/T) ' (4.11) ta je radi toga entropija za novu varijablu 
I(X;Y) = H(Y) - HT/X) (4.12,) 


Hz') =- S fi(x') 1d f(x!) đr'= 


što je po obliku analogno izrazima (2.41.) i (2.42.). 

Ovdje je potrebno još napomenuti da se izrazi (4.9.) 
i (4.10.) ne smiju razmatrati kao jednostavno poopćenje izraza 
za entropiju i uslovnu entropiju diskretnih informacija. Ako 
bi to učinili, došli bi do rezultata da entropija teži ka bes - 
konačnosti. To možemo objasniti time, što prelazom Ax —0 
povećavamo do beskonačnosti broj elementarnih podintervala iz 
šega slijedi, da će stupanj neodredjenosti takvih pojava biti s 
beskonačno velik, Medjutim, već ranije smo napomenuli, da je u Poredivši to sa gornjim izrazom izlazi: 
realnim sistemima nemoguće izvršiti kvantiziranje sa beskonač - 
no malim rasterom, pa prema tome nikad i nećemo moći postići da. 

Ax—e 0, što će onđa unijeti takva dodatna ograničenja da 

entropija neće težiti ka beskonačnosti,  ADalognim postupkom možemo pokazati da je: 

Navedimo nadalje jedno svojstvo koje pnosjeduje poć - 
puni srednji uzajamni sadržaj informacije za kontinuirane vi - 
jesti, a koje ne možemo primjeniti na entropije kontinuiranih 
sistema. To je svojstvo invarijantnosti kod transformacije va 
rijabli x i y. Da bi se u to uvjerili, provedimo najjednostav " 


x 


£ 
disko S A g EI 
2 f (< ) 1d < dx 


x! 


BK A!) = BZ/X) + 1d0C 


Vrativši ta dva izraza u relaciju (4.11.) izlazi: 
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Za tako fo) 3 i 
sie a tjesi . see jesto + M egta/rjinace sra ,. ka matrani slučaj možemo napisati funkcije gus- 
Iz ovih razmatranja možemo zaključiti, da Za razliku od 
slučaja diskretnih vijesti, entropije kontinuiranih sistema ne. 
maju nezavisnu vrijednost. Fizikalni smisao ima samo potpuni Sred. 
nji uzajamni sadržaj informacije I(X;Y), koji je invarijanta oh. 
zirom na transformacije varijabli, Radi toga će nam entropija sa. 
mo dobro poslužiti prilikom raznih postupaka proračunavanja, 


£izja uzedum. g 268? 
1 
G NT ć 


s 


Primjenimo do sada navedene izraze na slučaj, kada iz. (y-: 2 
medju x i y postoji slijedeća veza: £1(y/x) Pamet eno = m: io 
6 \EKG z 
y=ex+z (4.13,) : 
gdja su x i z nezavisne normalne slučajne veličine sa srednjom MiiEnoženo dobiti: 
vrijednosti nula i disperzijama e? io " 
Slučajna veličina y, promatrana kao suma dviju normal- 2(Xs9) = f1(2) . fi(9/2) = 
nih slučajnih veličina, imat će takodjer normalnu funkciju gus- 
toće vjerojatnosti, . srednjom vrijednosti jednakom nuli i dis- 
ne 2 2 2 
perzijm GL = G (+67. 
s s z i leta - Sega gi 
me smes 2 6? ) y+y 
27 6..6. z s 
o 2 
i X i suokazeteses= 
3 (y)= S £0(x,y) dx = nena: | =---------- 8 2( im 6 ) 
- TE 2 2 . 
2N(G* +6) 
s z 





5.42 Stern uz aditvno ojelovorje srretrji 


i Za izračunavanje potpunog srednjeg uzajamnog sadržaja 
Mormacije izmedju x iy, oprimjenit ćemo izraz (4.12.) pa sli - 


Slučajnu veličinu x možemo na pr. razmatrati kao am- Jedi: 


plitudu impulsa na ulazu komunikacijskog sistema (sl.4.2.):, =". b 

slučajna veličina y neka predstavlja ampiitudu odgovarajućih sa 

pulsa na izlazu sistema, ako na ulazne impulse aditivno djeluš BY) = - S £1(9) 14 f(x) dy (4.14.) 
- oo 


šum Z. 
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H(Y/X)= - 


šLJ/AEs 


oo 
S £o(x,y) 1d f)(y/x) dx dy (4,15 ) 
og : 


Duma «2-2 do 67 


Za izračunavanje gornjih integrala potrebno je prsći na Prirodn mornjim postupkom mogu se izračunati svi izrazi za entropiju, te 
8 h 


logaritne po odgovarajućoj relacijiš Id u=1linu,1lda. slijedi: 
Punkcije gustoće vjerojatnosti imaju tada općeniti oblik: 


so) e kale a € Gi + 6) 


YA)= -=- 14 (2:TTe + G2) 


a logaritam od tog izraza je: 


- 1d p(u) = «+ Id [1900] = 


rštenjem rezultata u izraz (4.12.) dolazimo do iznosa za pot - 
srednji uzajamni sadržaj informacije: 


s.«ii JE 276 + 5 | 
2 6 


1 G8 ' 
I(X;Y)= -=- 1d (1+ = ) (4.16.) 
2 Gž 


Uvršteno u izraze za entropiju: 


loš Moa dodatna ograničenja predstavlja maksimalni sakao. sred - 


E= - S Ku) dd plu) du = nji M jenni sedržaj informacije izmedju ulaznog i izlaznog sig - 


1d 2 plu) 1n (276 du +1d Selu) đu = 
a S 


Poznato je, da kada su dvije dkača eu veličine zavisne, 
l imaju normalnu funkciju gustoće vjerojatnosti, njihova statis - 


tel | - Bo Go e- 6] (4.17.) 


ide.ln [27 .G+nae. 3. Sou). u “du = 
G 


2 


dje su (A. i Cy - srednje vrijednosti, a G, i a 
Sperzije slučajnih veličina x iy. 
“X tom slučaju se uzajamna funkcija gustoće vjerojatnosti može na - 


/iznos integrala je po definiciji 6*/ = 


ld e B 2T .B6+ +] ž 
2 
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ana i pretpostavimo da su oni medjusobno nezavisni, Za takav slučaj 


možemo napisati uslovnu funkciju gustoće vjerojatnosti fi(y/x): 
pisati u obliku; 


(x- 4)? fily/ž)= fa -z)=£(2) (4.20.) 
fo(x,y)= Papen o ah Pereza Ne. <“ 
2T 6. 6y \1-a 2(1-E“) x gdje je £(2) - normalna funkcija gustoće vjerojatnosti šuma. 


Za tako prikazan model kanala uslovna entropija E(Y/x) 
skupa vrijednosti izlaznog signala uz jednu fiksnu vrijednost ulaz- 
Signala, neće zavisiti o izboru vrijednosti ulaznog signala, 
reć će biti izražena samo karakteristikom šuma: 


_ ma (zuri ir 6) ty=_Cby 
Gr ž 6 gy 6y 


[--] 
H(YI/x) = - $ f1(y/x) 1d f1(y/x) dy = 


Sličnim postupkom kao i ranije Za računanje potpunog srednjeg 
uzajamnog sadržaja informacije dobiva se rezultat: 


oo 
= 5 f,(z) la £.(2) dz 
I(L;f) = - zT 14 (1-R?) (4.18.) 
Iz gornjeg izraza možemo izračunati uslovnu entropiju 


E(Y/X) i uvjeriti se da takodjer ni ona ne ovisi o funkciji gus- 
Oće vjerojatnosti f(x) ulaznog signala : 


iz čega se jasno vidi da veličina uzajamne informacije izmedju 
dva signala ovisi o jačini njihove povezanosti. 


co 
4.2. Svojstva kontinuiranog kanala uz prisustvo aditivnog H(r/1) = $ ETA) £(x) Pa 


normalnog šuma, Kapacitet kanala. 


i :;. ds 
. Pretpostavimo najčešće susretani slučaj u praks1» 


3 o 
je signal na izlazu sistema y(t) nastao superpozicijom vesti 
signala x(t) koji u sebi sadrži korisnu informaciju (informa 
izvora) i normalnog stacionarnog šuma z(+): 


e9 og 
a- 5 fi (x)dx S f(z)1d 1,(2) dz = 


=- S £,(2) 1d £(2) dz (4.21.) 


.) 
y(t) = x(t) + 2(%) (419 


res? 
Šum z(4) utječe na signale x(t) u toku procesa prijenosa ip 


- e - 























Ranije smo pokazali, da za kanal s aditivnim šumom entro- 
sija H(Y/X) ne zevisi o obliku funkcije gustoće vjerojatnosti 
g(x), a odredjuje se pomoću relacije (4.23.). Prema tome će se 
maksimum sadržaja informacije l1(X5X) postići maksimizacijom en - 
wropije H(Y). 


Nadalje možemo pretpostaviti da je srednja vrijsdnog+i 
šuma 2(t) jednaka nuli, a disperziju označimo sa 6“. Uz nor. 
malnu funkciju gustoće vjerojatnosti za šum £(2) 


22 : Kod traženja maksimum entropije H(Y) potrebno je uzeti 
s ia) 4 a 2 6, (4.22 1 obzir ograničenja koja se postavljaju na funkciju gustoće vje - 
= o - « z 
o a TE rojatnosti f1(9), koju možemo izraziti pomoću f1(z) u obliku: 
PE 
co 
ražemo provesti integraciju u izrazu (4.21,) te slijedi rozultat; f.0) = $ f1(x).f.(9-x) dx (4.26.) 
- 69 


Uz ovako izraženu funkciju f1(09) mogu se razmatrati različiti kon- 
kretni slučajevi ( zadana maksimalna vrijednost y, disperzija of 
i t.d. ) no mi ćemo provesti izvod samo za jedan, za koji se la- 

Ko provodi računanje. Neka je zadana srednja kvadratična vrijed - 
nost y“ slučajne veličine y 


EY/I)= - 14 (2 Te 67%) (4.23) 


gdje je e baza prirodnih logaritama. 

U razdjeljku 2.4. definirali smo kapacitet kanala za 
diskretne sisteme, kao maksimalnu vrijednost potpunog srednjeg 
uzajamnog sadržaja informacije, koja se postiže optimalnom raspo- 
djelom ulaznih znakova. 
Isti princip možemo primjeniti i ovdje, te možemo kapacitet jed- 
nodimenzionalnog kontinuiranog kanala odrediti kao maksimalni i?“ 
nos potpune uzajamne informacije: 


<o 
yže o G y2,(9) dy = konst. (4.27.) 


Dokažimo da uz taj uslov vrijedi za entropiju H(Y) relacija: 


8718 


= £.(y/x 
IL (K;Y)= bi f1(x) fy(y/x)1d ------- dx dy = Hr) € * 14 (2 Te &3 (4.28.) 


o Sdje Znak jednakosti vrijedi onda i samo onda, kada slučajna ve - 
(4.24) 0 sičina y ima normalnu funkciju gustoće vjerojatnosti sa srednjom 
"Tiljednosti nula i disperzijom GY» y“ . Relacija (4.28.) obič- 
“2 Se dokazuje pomoću računa varijacije, no ovdje ćemo provesti 
“sdan jednostavniji dokaz. 


Za bilo kakvu funkciju gustoće vjerojatnosti f1(9) vri- 


= H(Y) - E(Y/X) 

; ti 
koji se postiže izborom optimalne funkcije gustoće vjerojatno? 
ulaznog signala fi(x): 

2 
Cy= max Iy(X5Y) (4.27 
f1(x) 
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jedi relacija: 
2 
a zeseličes 
oo — do ž 
2 y 
S fi(y). ln -Š---------- dy = S £1(y) s -ž-- = 


-kin(2 Ty) dy = 
2 


+ [1+neT 7] =- > in(2 Tog) 
2 


gdje je primjenjeno da jelne=1. 
Ranije napisan izraz (4.14.) možemo napisati za bazu 
prirodnih logaritama u obliku: 


He) - Ž-1a e Ter)» 


oo ' Zs 
S £,(9) | - In —5— +1n Še i. 
2 £_(y) 


= čir la e dy 


- 5 meiE Tr y 


Koristeći poznatu relaciju (2,26.) možemo napisati: 







- —_= r2 
2y NI 
. a BE id ča e dj (4.29.) 


2 
e __ 5 
a 1 e 1 2y 
H(Y) - ni ln(2 le gy) S uo e dy - 
\2 T y2 = 
- S £1() dy = 0 (4.30.) 


Na da _ sio 
i 2672 2 2 ' 
.. ar ja (4.31.) 
6|2T 2 I? 


IČito je da će to biti onda kada je: 


6? + st 


Iz svega možemo zaključiti, da će entropija slučajne 
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malnu količinu informacije koju može prenositi sistem, a koja &« 
ndnosi na elementarni dogadjaj, a ne predstavlja tok informacije 
1 jedinici vremena, Izračunavanje toka informacije u jedinici vre- 
nana zahtjeva i poznavanje fizikalnih karakteristika samog sis - 


varijable sa zadanom disperzijom biti najveća, kada ta Varijebla 
ima normalnu funkciju gustoće vjerojatnosti sa srednjom vrijed _ 
nosti jednakom nuli, ' 

Općenito znamo, da entropija odredjuje stupanj neodr«a. 
djenosti nekog skupa, Prema tome, možemo na bazi gornjih rezulta. 
ta reći, da će uz nultu srednju vrijednost i zadanu disperziju 
signala y(t), izmedju svih aditivnih šumova z(t) sa raznim Statig. 
tičkim karakteristikama, najštetnije djelovati (najviše će rema- 
titi prijenos korisne informacije) onaj koji ima normalnu funkci- 
ju gustoće vjerojatnosti, 

Očito je, da će uz normalnu funkciju gustoće vjerojatnosti z(+) 
sa nultom srednjom vrijednosti funkcija gustoće vjerojatnosti 
£1(9) biti takodjer normalna sa nultom srednjom vrijednosti, uko- 
liko 1 ulazni signal x(t) ima normalnu funkciju gustoće vjerojat- 
nosti sa srednjom vrijednosti nula. Ako pretpostavimo da su sig- 
nal x(t) i šum z(t) statistički nezevisni, tada je disperzija iz- 
laznog signala 64? jednaka sumi disperzija ulaznog signala i 
šuma (suma dvaju slučajnih veličina sa normalnim zakonom razdiobe): 


bema . 

U nastavku ćemo provesti za jadan konkretni sistem 
(sistem sa ograničenim frekvencijskim spektrom) proračun kapaci- 
tata kanala, 


4,5. Kapacitet kenala sa ograničenim frekvencijskim spektrom 


U 3. poglavlju smo razmatrali kako realni komunika- 
pijski sistemi sa konačnom graničnom frekvencijom fg utječu na 
signale koji se njima prenose, Ustanovimo sada, kakav utjecaj ima 
aničenje frekvencijskog spektra na mogućnosti prijenosa infor- 
macija sistemom, U tu svrhu pretpostavimo slijsdeći model komu - 
tikacijskog kanala, Neka izlazni signal y(t) predstavlja sumu 
ulaznog signala x(t) i normalnog stacionarnog šuma z(t)(kao 
4,19.), kod čega izmedju signala i šuma nema statističke veze. U 
Ovom slučaju neka signal i šum imaju konstantne spektralne gustoće, 
različite od nule samo u intervalu frekvencija O <£f < fg, gdje 
js fo gornja granična frekvencija sistema, Takav kanal nazivamo 
šanal sa ograničenim frekvencijskim spektrom. Osim toga pretpos= 
žavimo da je snaga ulaznog signala x(t) konstantna 


6,2 = 6.2 + 6-2 (4.32.) 


Z 


gdje je G32 - disperzija ulaznog signala x(t+). 

Uz tako navedena ograničenja, možemo kapacitet kanala 
izračunati ako rezultat (4.16.),koji je bio izveden za normalne 
distribucije veličina, uvrstimo u izraz (4.25.): 


2 
t) = = =žk “ 
x* (t) 672 S onst 
o, e o id (1+ _68?, (4.33.) Xažimo, da je kapacitast takvog kanala: 
2 622 
C = f2 1d (14-682. ) (bit/sek) (4.34.) 
Napomenimo ovdje, da kapacitet kanala izračunat prema Na fa 


izrazu (4.25.) ne možemo poistovjetiti sa kapacitetom diskretnog 


kanala prema izrazu (2.67.). K itet kanal izraž maksi “ [a : 
P inči Pig Kapoditek Pla SL Straavs "oda postiže svoj meksimum samo tada, kada ulazni signal x(+) 
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ima iste karakteristike kao normalni stacionarni šum. 

Kapecitet kontinuiranog kanala definira se kao maksi. 
malni potpuni sred ji uzajamni sadržaj informacije u jedinici 
vremena, koji se postiže izborom optimalne funkcije gustoće vje- 
rojatnosti fi(x) ulaznog signala x(t) uz dovoljno veliki Vremen. 
ski interval T: 


C= lim Max -l_ I(K;Y) 


T-— 00 fi(x) 


(4.35.) 


Fizikslni smisao kapaciteta kontinuiranog kanala je is- 
ti kao 1 u diskretnom slučaju: to je maksimalni broj bita, koji 
se može prenjeti po kanalu u jedinici vremena uz po volji malu 
vjerojatnost pogrešne reprodukcije ulaznog signala, 

Ako su spektri signala x(t) i šuma z(t) konstantni 1 
različiti od nule samo u području frekvencija O < ff <? g tada 
je spektar izlaznog signala y(t+) takodjer konstantan jarai pod- 
ruičja 0 <f< fo, a jednak nuli izvan tog područja. 

Prema tome na realizacije funkcija x(4), z(t) i y(t) 
možemo primjeniti teorem uzoraka (3.76.) i svaku od funkcija se 
može prikazati u obliku: 


= sin (204. a) 


.f(t)= ) £(-2-j --------8_---- 
2f T (2£.% - a) 


n=- oo g 


(4.36.) 


Ako proces promatramo dovoljno dugt1 , ali konačni in 
terval T, tada će unutar njega biti uzeo 2 fo . P uzoraka, kod 
čega je: 

im žu >1 (4.37) 


gdje ja M najbliži cijeli broj koji nije veći od ? fo T. 






-abf 


U tačkama uzimanja uzoraka moženo vrijednosti funkcija 
(4), g(t) i z(t) označiti sa x, =x(t,), SnzY (tn) i 2a52(t,)> 
Boje n= 1,2, .... M 

mmmedju napisanih vrijednosti postoji odnos: 


YMh=*+z (4:38. ) 


n n 


Prema tome, ako su spektri signala i šuma ravnomjerni 
aničeni frekvencijom fa ulazni signal x(+), šum z(t) i iz= 


Na početku smo pretpostavili da su signal x(t) i šum 
(4) statistički nezavisni, Posljedica toga je prema (4.21.), da 


tada se postigne maksimum entropije Bu 
šđalje vrijede i odnosi medju snagama signala i šuma: 


6? = 632 + 62? (4.59.) 
6,2 = No fo 


8 je N, spektralna gustoća šuma z(t). Ako je No= konst, a vri- 
"dnost 6x2 fiksirana tada će biti i 6y2 zadano. Kako sli - 
dl iz Šarana (4.28.) uz zadanu srednju saa, gattabija H(Y) je 
aimalna u slučaju, kada slučajna varijabla jA ima normalni 
kon razdiobe. Prema tome i slučajna veličina x, =y, - 2 mo- 
" imati normalnu funkciju gustoće vjerojatnosti. Tako dolazimo 
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do zaključka, da će potpuni srednji uzajamni sadržaj informacije me ako je entropija jednog uzorka 
za promatrani kanal (s ograničenim frekvencijskim spektrom i ža 

danom snagom sign la) biti maksimalan, kada je ulazni signal x(4) 

normalni stacionarni proces sa nultom srednjom vrijednosti, 

Može se pokazati (vidi primjer 3.3.- spektar bijelog 
šuma, Korelaciona funkcija je delta funkcija, prema tome inter _ 
val korelacije je beskonačno mali), ako je spektralna gustoća non 
malnog stacionarnog procesa ravnomjerna i različita od nule samo 
u području frekvencija 0 L£Lt < fa, da će uzorci procesa uzeti 
po teoremu uzoraka biti medjusobno statistički nezavisni, Prema 
tome će za uzorke šuma složena funkcija gustoće vjerojatnosti za 
M Ss 2 for uzoraka biti jednaka produktu jednodimenzionalnih funk. 
cija gustoće vjerojatnosti: 


H(Y )= -Ž- 14 E Ne(62+ 2) (4.42.) 
“ 2 s Z 
da izlazi za 2.7 uzoraka 


E(Y)=f,7 1d ( Tae 0:2+ 00) (4.43.) 


ada možemo pomoću izraza (4.12.) i entropija (4.41.) i (4.453.) 
zračunati maksimalni iznos potpunog srednjeg uzajamnog sadržaja 


Tu(2p15p +++. Zu)efo(21)£0(59) +++ £( 5) .(4.40.) MiPnacije: 
dje je f£_(z) - jednođimenzionalna funkcija gustoće vjerojatnosti 
visi osla : ki s: I(K;X), = £,T 14 (1+ --5-- ) (bit) (4.44.) 
šuma. m 8 x. € 
Prema izrazu (4,21.) možemo izračunati uslovnu entropiju: e 
< = š Iz izraza (4.44.) slijedi dijeljenjem sa T izraz (4.34.) 
H(YI/X)= -M , £,(2)1d £ (2) dz= for 1d (2 ll e 6.) (4.41.) : 
-<o 


2 
C = f2 id (1+ _-67 ) (bit/sek) 


Normalni slučajni proces y(t) ima ravnomjernu spektralnu gustoću e 


unutar pojasa propuštanja do f_. Prema tome su njegovi uzorci me 
djusobno takodjer statistički nezavisni, kod čega su srednje sna&* 


KOJI predstavi osnovnu relaciju za kapacitet frekvencijski og- 
nekog uzorka y, jednake i odredjuju se izrazom (4.39.): Predstavlja j 


Faničenog kanala koju je dao C.Shannon. 

Veličina I(X;Y)p karakterizira maksimalni sadržaj in - 

Ormacije koji se može prenjeti razmatranim kanalom za vrijeme T. 
Kod toga, prenošeni signali po svojim statističkim svojstvima mo- 
A4U biti slični normalnom bijelom šumu» 

“Zraz za I(X;Y),, možemo napisati u obliku: 


6. - 6*+ 6f* 


Uzmemo li u obzir izraz (4.28.) za bilo koji uzorak koji ima .. 
malnu razdiobu, tada u tom izrazu vrijedi znak jednakosti. Za %“ 


zavisne dogadjaje vrijedi svojstvo aditivnosti sntropija, prem 


Ki; =2f.T 1d (4.45.) 
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jim dimenzijama se mošaju prilagoditi i karakteristike kanala. 
prema tome izlazi, da uz smanjeni odnos signal/šum — 632/N)B, 
možemo sačuvati količinu prenošene informacije proširenjem frek=- 


gencijskog spektra, i obratno, možemo sačuvati B na račun pove - 
anja odnosa 


Veličina 14 = D ovisna je o odnosu snaga signala i 





šuma u nekom sistemu, te je možemo nazvati dinamikom sistems. Ona 


632/N,B ili vremena prijenosa informacije T, 
nam pokazuje koliko je bita informacije sedržano u jednom uzorku, 


Kanal je karakteriziran kapacitetom, t.j. brzinom prijenosa in= 
for mac ije KXiY), 
T 


Š prikazivati maksimalni mo- 





gući broj stupnjeva amplitude t.j. ona će odredjivati finoću ras- 
tera amplitudnog kvantiziranja. 
Tako se pokazuje da transinformacija I(X;Y) ima tri koordinate : 


širinu frekvencijskog opsega fo" B, vrijeme trajanja signala Ti 
dinamiku D: 


C = 2BD (4.47.) 
Prema tome, želimo li iskoristiti maksimalno neki sgis- 
tem, tada je potrebno dosta složenim metodama kodiranja pretvoriti 
laznu informaciju (signal) u normalni slučajni proces s ravno - 
mjernom spektralnom gustoćom u pojasu frekvencija B. Tada je mo - 
giće prenositi signale dužine T sa brzinama manjim, ali vrlo bli- 
Zim kapacitetu kanala GC, sa po volji malom pogreškom. Brzina pri- 


jenosa informacije veće od kepeciteta kanala nisu moguće bez znat- 
ih pogrešaka, 


IX;Y) = 2BTD (4.46.) 


Ovakav prikaz transinformacije pokazuje da veličina M = 2BT poka- 
zuje broj potrebnih uzoraka za prikazivanje kontinuirane veliči - 
ne u intervalu T, a D prikazuje broj binarnih podataka koji može 
nositi svaki uzorak, Prema tome transinformacija se može prika - 


Napomenimo još jednom, da gore prikazane relacije vri- 
zati kao informacioni volumen (sl. 4.3.) 


jede samo onda, kada se signal sa normalnom funkcijom gustoće vje- 
fojatnosti i konstentnom spektralnom gustoćom u čitavom pojasu 
fekvencija B aditivno slaži sa bijelim šumom. 


Kapacitet kanala postiže maksimalnu vrijednost kađa 


2 2 
Pes = lim “= Bog e =1,447 Gu (4.48.) 


B—» 00 s Na 





oši - 
prikazana 


SL. be If ĐDTTNOCKITI VOĆIINENI 


| Pa slici 4.4. Kapacitet vrlo brzo raste sa povećanjem B, a za- 


; * Se asimptotski približava vrijednosti Ca . 
sa dimenzijama B,T i D koji je za odredjeni slučaj konstsentan» 
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5, B S,B 
-<_- = 2 
C .5 B 
' Bild (l+-=--) 
Goe B 
o. 
9./N, 
= N. -----------__-_- (VW /bit) . (4.50.) 


95 








3 14 (I+ 5/1) 





gdje je N, već ranije spomenuta spektralna gustoća snage šuma 
u W/Hz. Kstkada se umjesto N primjenjuje i efektivna tempera- 
ra šuma. Do tog pojma dolazi se iz relacije: 


3 
2 
€? 
S. 44 Zovisnost kopocićeto kanala o Šriri frekvencijskog 
spektra B -23 ' 
No= kT =1,37 . 10*T W/Ez (4.51.) 


gdje. je k - Bolzmannova konstanta, a T apsolutna temperatura. 
Z gornje relacije dolazi se do efektivne temperature, 
N, ; 
Te. = --=- (4.52.) 
k 


Provedena razmatranja daju nam uvid u optimalne uvje- 
te prijenosa informacija, Još jedna interpretacija kapacitasta 
kanala je korisna za usporedbu pojedinih sistema, To je koli- 
čina energije potrebna za prijenos jednog bita informacije. 
Neka je 3, spektralna gustoća snage signala u W/Hz, a B širina 
spektra u Hz, tada je snaga signala 


oja takodjer izražava intenzitet šuma. Relacija (4.50.) poka- 
uje, da je energija potrebna za prijenos jednog bita informa- 


Ra u kanalu, odnosno efektivnom tempsraturom, i takodjer sa iz- 
zom koji je funkcija odnosa signal/šum S,/N,. Slika 4.5, po- 
Sauje tu funkcionalnu zavisnost. 

Slika pokazuje da je minimum funkcije 0,693, kada je 
aga signala neznatna prema snazi šuma, Za jednake snage sig- 
la i šuma funkcija poprima vrijednost 1. | 

Može se zaključiti da je potrebna energija za prije- 
5 jednog bita informacije kada je odnos signal/šum 30 dB sto 
psa Veća od one kada je taj odnos 0 dB. Taj zaključak se ne 
Bže sa našim iskustvom, jer suvremeni tehnički sistemi u prak- 
ŠŠkoj primjeni troše mnogo više energije. 


G= 8 = 8. B (€) 
8 


Po definiciji, kapacitet kanala je maksimalna brzina prijenosa 
infoxmacija u bit/sek pa će prema tome biti: 


B Ws 
-5_-= energija (----) (4.49.) 
GC. bit 


Primjenivši izraz (4.34.) za kapacitet kanala izlazi: 
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So/N& 
la(1152h) 








izračunati kapacitet kanala, te ga usporediti sa brzinom 
prijenosa govornih informacija u telefonskom kanalu. 


Prema izrazu (4.34.) izlazi: 


& 
rd [dB] 
1.45 Potrebna energija stynata po bitu injorrnacije 
Uz različite odnose SGQrat-Šum 


2 
S). 


o 


Bld (1+ 


Q 
" 


=4.10 14 (1+-------Ž-—----) = 


Zašto se suvremeni sistemi ne približuju tom idealu postoje tri 0,5.1075.4.10? 


principijelna razloga: 


- primjenjeni modulacioni sistemi ne mogu efikasno is- 
koristiti frekvencijski spektar sa reduciranom potroš 
njom energije : 

- karakteristike signala i karakteristike kanala nisu 
dovoljno dobro prilagodjene 

- većina signala pomoću kojih se prenose informacije 
sadrže u sebi mnoštvo nepotrebnih detalja t.j. vrlo korištava isti frekvencijski opseg B=4 kHz. U prosjeku 
su redundantni. Ta redundancija doduše je korisna 22 = Čovjek ja u mogućnosti da generira približno 6 glasova u 
povećanje sigurnosti prijenosa, ali tek onda kada se ikundi , Svaki od glasova predstavlja jedan znak jezika, 
ona prikladno primjeni, KO odbacimo sve subjektivne karakteristike informacije 

<Oje donosi slušanje glasa, tada možemo, zanemarivši sta- 

tističke zavisnosti medju znakovima, smatrati da jedan 

Blas u prosjeku sadrži toliko informacije, kolika je en = 

Mfopija monograma za jezik. Za naš jezik prema tabeli 2.6. 


4.103 1d (1+ 103) = 9,96.4.10%= 


40.10? bit/sek 


Svi ti razlozi navode na to da se pojedini tehnički 81% 
temi medjusobno usporedjuju. Osnovu za takve usporedbe daju raž “ 
matrana svojstva informacije i kanala, te se uvijek za dane si“ 
tuacije, uzevši u obzir i ekonomske momente, može odabrati opti“ 
malni sistem, 


- 226 = 


to iznosi 4,19 bita/snaku, 
Prema tome će brzina prijenosa govornih informacija biti: 


0, = 644,19 2 25 [bit/sek] 
Takvom usporedbom dolazimo do zaključka da su postojeći 


telefonski kanali u velikoj mjeri neiskorišteni obzirom na 
brzinu prijenosa informacija. 


PRILOZI 


I. PRIMJENA OSNOVNIH ZAKONA STATISTIKE I VJEROJATNOSTI U KO- 
MUNIKACIJAMA 


1.1. Vjerojatnost 













U teoriji slučajnih pojava dogadjajem nazivamo svaku 
činjenicu, koja može biti ishod nekog eksperimenta, Eksperiment 


Uzmimo za primjer dogadjaje: ishod grba kod bacanja nov- 
čića, prekrivanje radiosignala smetnjama, izobličenje telegrefskog 
signala pod utjecajem smetnji, pojava smetnje na izlazu prijemnika 
u odredjenom intervalu promatranja i t.d. 

Nije teško primjetiti, da se razni dogadjaji razlikuju 
po stupnju mogućnosti nastupa, a u nizu slučajeva medjusobno su 
zavisni, ' 
Dogadjaji mogu biti sigurni, mogući i nemogući. Sigurni 
“Ogadjaji su oni koji uvijek sigurno nastupaju kao ishod nekog ek- 
SPerimenta, Nemogući dogadjaji su oni koji nikada ne mogu nstupi- 
'L kao ishod nekog eksperimenta. Mogući ili slučajni dogadjaji su 
+ koji mogu ali ne moraju nastupiti pod izvjesnim okolnostima. 
“Tomatramo li više slučajnih dogadjaja možemo utvrditi da oni mo- 
Su biti medjusobno u nekim odnosima: dva dogadjaja su jednako mo- 
Suća, ako se objektivno utvrdi da oba imaju isti broj mogućnosti 

la budu ishod nekog eksperimenta. Na PT.: ishod grba ili pisma kod 
"nog bacanja novčića, prekid rada bilo koje elektronke iz serije 


"08 tipa, koje rade pod jednakim uslovima i uključene su isto 
'Zljeme i t.d. 
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Nađalje dogadjaji mogu biti iskljušivi 1 neisključivi, 

Dogadjaji se isključuju, ako pojava jednog od njih u toku skspa- 
rimenta isključuje mogućnost pojave drugih. Na pr. ishod bacanja 
kocke ne može biti istovremeno 13 i5. 

Dogadjaji se ne isključuju, ako pojava jednog u danom eksperimentu 
na isključuje mogućnost pojave drugih. Na pr. ishod 3 i 5 kod dva 
bacanja kocke. 


sdnosno, vjerojatnost nastupa nekog dogadjaja u odredjenom ekspe- 
rimentu izražava se kao odnos broja povoljnih ishoda za promatra- 
ni dogadjaj i broja svih mogućih ishoda eksperimenta. 
Budući da je uvijek O £ m(A) E n, proizlazi da vje- 
ojatnost za bilo koji dogadjaj zadovoljava relaciju 


oErW 1 (1.2.) 
Skup dogadjaja, od kojih barem jedan sigurno nastupa u nekom ek- 
sperimentu, zove se potpun skup. 

Na pr.: pogodak ili promašaj mete kod gadđjanja jednim hicem, pog- 
rešan prijem jednog, dva, tri ili ni jednog impulsa u troimpulsnon 
kodu, i 


gdje vjerojatnost P(A) = O pripada nemogućem dogadjaju, a vjero - 
jatnost P(A) = 1 sigurnom dogadjaju. 
Napomenimo još da jedan te isti dogadjaj može imati raz- 


aličitu vjerojatnost u zavisnosti od uslova pod kojima se on fi- 
zički ostvaruje, 


Vjerojatnost dogadjaja PRIMJERI; 
Vjerojatnošću dogadjaja nazivamo brojčanu mjeru, koja 

poprima vrijednosti od 0 do 1 i karakterizira stupanj mogućnosti 

nastupa dogadjaja u razmatranoj situaciji. ' 
Vjerojatnost nula pripada nemogućem dogadjaju, dok je 


L,l. Neki alfabet sastoji se od tri znaka ABC, Koliko se različi- 
bih troznakovnih riječi dade napisati sa ta tri znaka? Kolika je 
Yderojatnost da nasumce napisana riječ bude BCA? 


siguran dogadjaj karakteriziran vjerojatnosti jedan, Vjerojatnosti 
svih ostalih dogadjaja rasporedjene su izmedju tih granica. 5t0 Jo 
vjerojatnost bliža jedinici, to je veća objektivna mogućnost poja- 
ve odgovarajućeg dogadjaja u odredjenom eksperimentu i obratno, što 
je ona bliža nuli, to je takva mogućnost manja. 
Vjerojatnost se najčešće označava slovom P, te ako so one 
na pr. odnosi na dogadjaj A tada ćemo to označiti sa P(A). 
Postavimo nadalje problem, kako izračunati vjerojetnos* 
nekog dogadjaja, t.j. naći broj koji je povezan sa mogućnosti Na 
gova nastupa u odredjenom eksperimentu. To se može provesti na ia 
ličite načine, ovisno o tome o kakvim se dogadjajima radi io us j 
lovima pod kojima se eksperiment provodi, U nizu skapszinonata ć# 
postupak može se provesti tako, da se rasčlane mogući ishodi e 


Rješenje: 


Sromatramo li znakove kao različite elemente u smislu kombinatori- 
še, tada su različite riječi ustvari permutacije bez ponavljanja od 
sadanih elemenata, 

“Kupan broj riječi je: 


ni! =53! =6 
“ Medju njima je samo jedna BCA, pa izlazi tražena vjerojatnost: 


1 


6 


sperimenta na jednako vjerojatne i isključive slučajeve. 


** Kod za prepoznavanje aviona u radarskom sistemu sastavljen 
Vjerojatnost nastupa dogadjaja 4 se tada izražava kao: 


>d karakteristične kombinacije tačaka i crta čiji je broj uvi- 
PK jednak i iznosi d=4, 


P(A) = m_(A) (1.1) Tediti vjerojatnost da protivnik falsificira kod, ako on na svo- 
n 


5d Odzivnoj aparaturi postavi neku slučajnu kodnu kombinaciju sas- 


= 231 = 
- 250 + 


b). troznamenkasti broj biti djeljiv sa 36 
5 


BE: o) P= die hk) Pe ed.) 
90 la 360 


tavljenu od crta i tačaka, a koja ima dužinu d=47 


Rješenje: 















j četiri ta koji mogu biti 

kupan broj kodnih kombinacija sa četiri elemen | 
"sa te i tačke (binarno značenje) iznosi ; U praksi imamo često slučaj, kada je potrebno izračuna- 
cr vjerojatnost nastupa dogadjaja koji je na odredjen način gas - 


n = 2% = 16 (varijacije s ponavljanjem) avljen od elementsrnih dogadjaja. 


Kod rješevanja takvih problema služimo se odredjenim pra- 


Samo jedna medju njima je istinita, pa tražena vjerojatnost iznosi: rilima, koja se temelje na teoremima. 


P= --5- 


16 Teorem o zbrajanju vjerojatnosti 


Bes Promatrajmo slijedeći elementarni primjer: U posudi se 


Zi lo kuglica od kojih su 3 plave, 4 bijele i 3 crne (s1.1.1.) 


1.1. Dvije radiostanice istog tipa, postavljene na nekom rasto - 
janju jedna od druge, mogu so namještati svaka na lo frekvencija 
(jednakih u obim stanicama). 
Odrediti vjerojatnost, da one prorade na istoj frekvenciji, ako su 
nezavisno uključene i podešene frekvencije. 
(odg. P=0,1) 


Q2DOOO0088 9 


PU 








"78 


1:2. U skupu od lo otpornika 4 su loša. Kolika je vjerojatnost da 
se slučajno uzme loš otpornik? Kolika je vjerojatnost da dva slu- 
čajno uzeta otpornika budu loša? 
(odg. 0,45 0,133) 


S. T-1. Teoremo zbrajanju vjerojatnosti 


1.3. U jednom bloku elektronskog računskog stroja, koji ima .. 
tranzistora, jedan je uništen, Neispravnost se otklanja ajn | 
vanjem tranzistora redom. Naći vjerojatnost, da će se neisprav!“ 
otkloniti u prva tri pokušaja. 
(odg. 1/8) 


Posude nasumce uzimamo jednu kuglicu. Kolika je vjerojatnost da 
* bude ili bijela ili plava? 

* sa A pojavu plave kuglice, a sa B pojavu bijele. Dogadjaji 
d * Bose isključuju, jer pojava jednog onemogućava pojavu drugog, 
' d “ajedn : g 

1.4. Na deset jednakih kartica napisani su različiti brojevi % O se ne mogu pojaviti, 
do 9. ma 
Odrediti vjerojatnost, da će nasumce načinjen od spomenu 

a) dvoznamenkasti broj biti djeljiv sa 18 


: imo broj povoljnih slučajeva za dogadjaj A sa m » 2 za dogadjaj 


! 
410% i 
kar m Broj povoljnih slučajeva složenog dogadjaja koji nas in- 
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orimjer 1.2.) ako istovremeno rada tri odzivne aparature svaka 
odešena na drugu kodnu kombinaciju, ako je vjerojatnost da jedna 
ad njih pogodi kombinaciju Pi = 0,057 


teresira t.j. da se dogodi 1li A ill B je jednak: 


BiB + 


Prema tome je tražena vjerojatnost: Rješenje: 
OMHLLB MA + => ogadjeji koji označuju da je prvi odzivnik pogodio kod (A) odnos- 
P(AiliB) = vera kat ag = o drugi (B) i treći (C), se isključuju, ako su oni podešeni na raz- 
ličite kodne kombinacije. Po teoremu zbrajanja slijedi: 
m m P( | = + + + 
= --h_ 4 --B2 2 P(A) + P(B) (1.3.) P(A+B+0) = P(A)+P(B)+P(C) = PI+Pi+P] = 015 
n n 


Neposredno iz teorema 0 zbrajanju vjerojatnosti slijedi: 

gdje je P(A) - vjerojatnost dogadjaja A | 

P(B) - vjerojatnost dogadjaja B 1. Suma vjerojatnosti potpunog skupa dogadjaja koji se is- 
ključuju jednaka je jedinici. 

U potpunom skupu dogadjaja jedan mora nastupiti, ta ako 

tražimo vjerojatnost da bilo koji nastupi tada je taj složen doga- 


Bjaj siguran i vjerojatnost mu je jedan. 


Gornji izraz predstavlja teorem o zbrajanju vjerojatnosti za do - 
gadjaje koji se isključuju. 
Za naš primjer je: 


P(A) = --5- ; P(B) = -Ž. 


Ž9 10 2, Suma vjerojatnosti protivnih dogadjaja jednaka je jedi- 


nici, 

Protivni dogadjaji su specijalni slučaj potpunog skupa 
“Ogadjaja koji se isključuju, u kojem je broj dogadjaja dva. 0z - 
Načimo sa A dogadjaj protivan dogadjaju A tada se može napisati 


zik Nižja 5+ a 87 
lo lo 


Gornji teorem vrijedi i za više dogadjaja koji se isključuju, #2 
radi kraćeg pisanja odnos medju dogadjajima "da se dogodi ila Ad P(A)+ PA) =1 (1.5.) 
Bill C..... " pišemo u obliku sume pa možemo općenito napisati! ; g 
BB Dr, označimo sa A dogadjaj da je neki impuls u telegrafskom pri- 
lenosu potisnut radi smetnji, a sa 4 da je on pravilno prenesen. 

ZO je P(A)=0,1 tada je očito P(1)=0,9 t.j. u 90% slučajeva impuls 
ŠE biti pravilno prenesen. 


P(A+B+C 4... ) = PA) +P(B)+P(C)_ 4440 (40) 


t.j. vjerojatnost nastupa bilo kojeg od dva ili više isključivih 
dogadjaja jednaka je sumi vjerojatnosti tih dogadjaja. 


PRIMJER: ZADACI: 


2, Ust 2 : 
1.5. Kolika je vjerojatnost da se falsificira kod za prepoznavšti“ . anovljeno je da se u tekstovima hrvatsko-srpskog jezika 
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znak A pojavljuje s relativnom frekvencijom 9,096, znak B S frak, sdjutim, ako je poznato da izvućeni otpornik pripada prvoj seriji, 


renzijom 909,0155, a znak € sa 9,09067. da se dogodio dogadjaj A, tada je vjerojatnost dogadjaja C 


Cogliza je vjerojatnost, da nasurce uzet znak iz hrvatsko-erpskog 
* S 
E bude B ili C? 


0,0222) 





Pi(C) = zad = 0,61 
1000 


= 2 


I.54 U skupu od 1ooo otpornika u prosjeku se razlikuje Od nazivne 
vrijednosti: 160 za 0-0,5%, 220 za 2,5-1%, a ostali od 1-5%, 


čega slijedi da su dogadjaji A i € zavisni, Isto se može proves- 
Ojrajiti vjerojatnosti da se slučajno izabrani otpornik na razli- Mi za dogadjaje B 1 C, 
kuje više od 1% od nominalna vrijednosti. jenja 1i se vjerojatnost dogadjaja u ovisnosti o tome da li je 
(odg.: 9,38) mije toga nastupio neki drugi dogadjaj ili nije (dogadjaj € u od- 
iogu na A u predhođnom primjeru), tada uvođimo pojavu uslovne vje- 
Zavisni i nezavisni dogadjaji. Uslovna vjerojatnost. Mjatnosti, 
Uslovna vjerojatnost nekog dogadjaja A (u odnosu na neki 
Za daljnja naša razmatranja potrebno je uvesti pojmove + 
zavisnosti dogadjaja. 
Dva ili više dogadjaja su nezavisni, ako vjerojetnost 
nastupa svakog od njih ne ovisi o tome da li su nastupili ostali, B dogadja, A ne ovisi o dogadjaju B tada uslovna vjerojatnost ima 
lačenje bezuslovna vjerojatnosti dogadjaja A t.j. 
PRIMJER: 
P(A/B) = P(A) (1.6.) 


sia Lg4 j tpornika j ije i looo dru- 
I.4. U kutiji je smješteno 1009 o+po Pg jedne zas : Teorem o množenju vjerojatnosti 
e, U prvoj seriji ima lo otpornika koji ne zadovoljavaju postav 
Ljsne uvjete, a u drugoj 49. Promatrajmo dogadjaje: : daa to . 

jete, goj j gadj Promatrajmo dogadjaj koji je složen od dva elementarna 
. Se ne isključuju, a njihove pojedinačne vjerojatnosti su poz- 
S, Kolika je vjerojatnost da nastupi tako složen dogadjaj? 


i cšo izračunali vjerojatnost te situacije poslužimo se ge- 


A- slučajan izbor otpornika iz prve serije 
B- slučajan izbor otpornika iz druge serije 
G- izbor otpornika koji ne zadovoljava postavljene uvjet 


Kolika je vjerojatnost  P(C)? x. 

elu ravnine 5 imade n iaai. Vjerojatnost izbora bilo koje 

ia je jednaka, Unutar ravnine S označene su dvije oblasti A i 

x Se na jednom dijelu prekrivaju. Broj tačaka koje obuhvaća 

od A je my, a broj tačaka obuhvaćeno sa oblasti B je mp. Broj 

2 u zajedničkoj oblasti A i B označimo sam, . .. 

Djatnost d iko 
s a se slučajno izabere tačka iz oblasti A očigledno je 


2ješenje: 


Vjerojatnost dogadjaja C, ako nije ništa poznato o dogadjaji? 
A i B iznosi: 


+_10 
P(C) = £9-7_10 = 0,025 mA 
2009 P(A) = > (1.7.) 
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gredimo bezuslovnu vjerojatnost da nastupe zajedno oba dogadjaja 
1B: 


P(A 1B) =-5-5= : (I.l0.) 


samnožino li brojnik i nazivnik gornjeg izraza sa m, izlazi: 


m m 
Pu1d)e ok. AE ft419 
n 


či 


što predstavlja produkt vjerojatnosti: 


PA 1B) = P(A) . P(B/A) (I.12.) 





Na isti način došli bi do rezultata da je: 


P(A 1 B)e P(B) . P(A/B) €£,23..) 


Anelogna je vjerojatnost izbora tačke iz područja irati teorem o množenju vjerojatnos 
i čja B f 4 ti 
ložemo sada formuli i ženj j + 


Vjerojatnost, da istovremeno nastupe dva dogadjaja (koji 
& Ne isključuju) jednaka je vjerojatnosti jednoga od njih pomno- 
šnoj sa uslovnom vjerojatnosti drugoga izračunanoj pod uslovom da 


ma 
P(B) z -. (I.8.) 
iB nastupio prvi dogadjaj. 


Uved i ' 
imo osim toga i uslovne vjerojatnosti dogadjaja A 1B. Iz izraza se vidi da je svejedno koji dogadjaj se uzima 


Neka je poznato da je nastupio dogadjaj A t.j. izabrana je tačka 
ša područja A, kolika je vjerojatnost dogadjaja B t.j. da ona bu- 
de i sa područja B istovremeno. 

Ako znamo da je već nastupio dogadjaj A, to nas dalje 
zanima samo to područje. Dogadjaj B može nastuviti (pod uslovom 4) 
samo ako se izabere tačka iz oblasti A 1B, atih imam, ,g+ F2 
je uslovna vjerojatnost dogadjaja B u odnosu na A: m 


Ivi, 

ŠPecijalni slučaj gornjeg teorema proizlazi kada su dogadjaji ne- 
Av: isni “ 

da je 


P(A/B) = P(A) i P(B/A) = P(B) 
š izlazi 


m a 
“masu KJEET (1.9.) MA 1B)= PA). ?P(8B) (I.l14.) 
n 3 : 
A E vjerojatnost da istovremeno nastupe dva nezavisna dogadjaja 
Pdnaka je produktu njihovih vjerojatnosti. 
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' ge umjesto jednoga uvijek pošalju tri. Komanda će biti pogrešna 
Radi kraćeg pisanja često se odnos "i!" piše znakom za produkt 








, pa lučaju da se sva tri puta nalog primi pogrešno. 
spomenuti teorem možemo prikazati: tolika je vjerojatnost da komanda bude pogrešna, ako je vjerojat - 
3st da nalog u jednoj predaji bude pogrešno primljen 0,2, a poje- 
P(A.B) = P(A).P(B/A) =: P(B).P(A/B) (1.15,) iini nalozi smetani su sasvim nezavisno, 


Teorem o množenju vjerojatnosti može se proširiti i na oke 
više dogadjaja te tada on ima oblik: Rjessnje: 


' 4 : ze 
Mk.BLO. sosa di a PAX PĆAAJAPĆO/A 2) aaać ao (1.16.) manda će biti pogrešna ako redom nastupe slijedeći dogadjaji 


A- pogrešan prijem naloga u prvoj predaji 
B- pogrešan prijem naloga u drugoj predaji 
C- pogrešan prijem naloga u trećoj predaji 


Za nezavisne dogadjaje onda vrijedi: 


PLA:Beđa 1ass:) a BGA) PUB PĆOJca saa caaets va o (Lind 


Pe“ P(A.B.C) = P(A).P(B).P(C) = 0,008 


PRIMJERI: 


' , Prekid električkog kruga nastupa ako se prekine barem jedan 
I.5. Izvidjački uredjaj se sastoji od usmjerenog antenskog siste- dd tri serijski vezana elementa. 


ma koji se vrti i prijemnika s podešavanjem frekvencije koje se drediti vjerojatnost, da ne dodje do.prekida kruga, ako prekidi 
može periodički mijenjati. Signal se otkriva i prolazi do izlaza POjedinih elemenata nastupaju sa vjerojatnostima: 0,3; 0,43; 0,6 
uredjaja, ako je antena usmjerena prema izvoru signala, a kod to- 


ga je prijemnik podešen na frekvenciju izvora. Kolika je vjerojat- Rješenje: 

nost otkrivanja signala takvim uredjajem P.,, ako je vjerojatnost 

podudaranja signala sa dijagramom usmjerenja antene P(A)=0,6,; 8 

vjerojatnost da u času kada signal prodje antenu bude prijemnik 

podešen na frekvenciju izvora P(B/A)=0,4. 3 š > 
Rješenje. A, A, Ag 


Očito je da će signal biti otkriven ako dogadjaji A i B nastupe S1.f-3 Električni krug uz prirnjer 7:7 
istovremeno t.j. ' 


Po = P(A.B) = P(A).P(B/A) = 0,6 . 0,4 = 0,24 


ačino redom elemente (s1,1,3.) aj, ap ia, a dogadjaje koji 
uju njihov prekid sa Al, A, i A3. Vjerojatnosti protivnih 


u 
j : nos$ 
1.6. U nekom sistemu za upravljanje na daljinu nalozi se pre iddjaja t.j. da ne nastupi prekid pojedinih elemenata su: 


vidu odredjenih kodnih kombinacija, Da bi se povećala sigurnost, 
prijenosa u uslovima djelovanja smetnji, nalozi se ponavljaju 
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ako je vjerojatnost da bude odbačen u prvoj kontroli (A) 0,1, u 





















P(A) = 1 - PGA) = 0,7 irugoj (B) 0,5 (pod uslovom da je  “odjena prva) i u trećoj (0) 
3,2 (ako su prodjene prve dvije). 

PK. =1-P(A,) = 0,6 “= ža = = = . 

Ci * ' (odg.: B(4.B.0) = P(2).P(B/A).P(G/AX B) = 0,504) 

P(4,) =1- PA) = 0,4 


I,10. Ako se smetnja podudari u vremenu s impulsnim signalom, vje- 
rojatnost prekrivanja signala sa smetnjom kao posljedica njihove 


Vjerojatnost da ne dodje do prekida kruga ja: MM E ćerencije je 0,00. 


: Odrediti vjerojatnost prekrivanja signala smetnjom, ako je vjero- 
jatnost da se smetnja podudari sa signalom 0,04. 
(odg.: P= 0,0008) 


PLKodk,) = P(B)P(2) .P13) = 


" 


= 0,7. 0,6. 0,4 = 0,168 


Vjerojatnost, da nastupi barem jedan od dva ili više 
ZADACI: dogadjaja koji se ne isključuju 

Ranije smo definirali pravilo za odredjivanje vjerojat- 
nosti nastupa bilo kojeg dogadjaja iz skupa dogadjaja koji se is- 
ključuju (teorem o zbrajanju vjerojatnosti). To pravilo ne vrijedi 
Za dogadjaje koji se na isključuju. 

Nadalje ćemo pokazati kako se računaju vjerojatnosti u 
slučaju kada se dogadjaji ne isključuju, ali su nezavisni. 
Pretpostavimo da imamo nekoliko nezavisnih dogadjaja koji 
še ne isključuju A,B,C ,... te da su zadane vjerojatnosti svakog 

Od njih; P(A), P(B), P(C) .... 

Potrebno je odrediti vjerojatnost nastupa barem jednog dogadjaja iz 
promatranog skupa. 

Irilikom rješavanja postavljenog problema koristit ćemo se pojmom 
Protivnih dogadjaja. Vjerojatnosti da se dogadjaji A,B,O ...«. ne 
“ogode možemo napisati u obliku 


1.7. Od četiri čovjeka A,B,C i D, jedan je (A) primio informaciju, 
koju u vidu signala "da" ili "ne" kazuje drugome (B), drugi je na 
isti način predaje trećem (C), a treći četvrtome (D), koji na kra- 
ju objavljuje rezultat. Poznato js, da svaki od njih govori istinu 
samo u jednom od tri slušaja. 

Kolika je vjerojatnost, da je prvi kazao istinu, ako se zna da je 
četvrti rekao istinu? 


(odg.: P= 24) 
41 


1.8. Vjerojatnost da se u električnom krugu napon povisi iznad no 

i r 
minalnog je Pi+ Vjerojatnost da kod povišenog napona nastupi kva 
uredjuja je P,- 


Odrediti vjerojatnost kvara uredjaja? 


P(4) = 1-P(A), P(B) = 1-P(5), P(C) = 1-P(C) .... (I.18.) 
(odg.: P= P1+P2) 


e odr adjimo nadalje vjerojatnost da ne nastupi niti jedan od dogadjaja 


9B,0 .,.., što je isto kao da tražimo da istovremeno nastupe svi 


PTotivni dogadjajl a Ki BiC.... 


1.9. Proizvod prolazi redom kroz tri kontrole (A,B I €), te S ". 
bacuje kao loš, ako se ustanovi greška u bilo kojem stadiju kon 


le. 


Kolika je vjerojatnost da proizvod prodje kroz sve tri kontrole» 
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fa pogrešni prijam svakog znaka djeluju smetnje nezavisno, 


Kolika je vjerojatnost pogrešnog prijema barem jednog znaka prili- 
kom predaje riječi SIGNAL? 


NAN BNIG e) = PLB.O 46) 


= P(4) .P(B) .P(7) ... 


a [1->(4)] [1->(5)] [1-p(0)] sA (1.19.) 


Vjerojatnost da nastupi barem jedan od dogadjaja A,B,C ... je up- 
ravo jednaka vjerojatnosti suprotnog dogadjaja gornjsmu: 


Rješenje: 
Pg = 1-(1-6,05)%.(1-0,08)%.(1-0,1)2 A 0,37 


P(A+B+C ...)=1- [1->cw)] [L-P)] -zco) “S - (1:20) tami 


Napomenimo još jednom da gornje vrijedi Za nesavesne čogoddsje ko“ 1.11. Električki krug izmedju tačaka MN sastavljen je prema shemi: 
ji se ne isključuju. 

Lako možemo dokazati da je u tome kao specijalni slučaj sadržan 
teorem o zbrajanju vjerojatnosti za dogadjaje koji se isključuju, 
Radi jednostavnosti napišimo gornji izraz samo za dva dogadjaja L 


ka 


KS 


P(A+ B)=1- [1-7] [1-20] | (1.21.) 
Nakon množenja izlazi: 


P(A+B)= P(A)+P(B) - P(A).P(B) (1.22.) SL T-4 Električni krug uz zadotok 1 


Zadnji član je za dogadjaje, koji se isključuju jednak nuli, jer 
ne mogu istovremeno nastupiti oba dogadjaja, pa je prema tome Za 


: lazi! Prekidi pojedinih elemenata su nezavisni dogadjaji, koji imaju vje- 
vjerojatnost jednog dogadjaja druga nužno jednaka nuli, pa iz 


rojatnosti: 
1.23.) 
P(A+B) = P(A)+P(B) ( 
( ) Flement Ki K, a šk, L, 
što ja isti rezultat kao ranije. 


Vjerojatnost 0,6 0,5 0,4. 0,7 0,9 
PRIMJER: 


saroješ (od. ba 
1.8. Jednim telegrafskim sistemom predaje se riječ SIGNAL. Vjer ČE.: P=0,85) 
nosti pogrešnog prijema znakova radi utjecaja smetnji sus 
“i +2. U prijemniku radiorelejne linije nalazi se 14 elektronki, od 
"ga tipa I-6,a tipa II -8, 


računati vjerojatnost kvara prijemnika nakon odredjenog vremena #, 


ZNAK 9 I G N A L 


VJEROJATNOST 
POGREŠKE 0,05. 0,08. 0,1 0,08 0,05 0,1 
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ako je kvar nastupio kao posljedica kvara bilo koje elekironke y 
istom intervalu vremena, ako za elektronke tipa I kvar nastupa sa 
vjerojatnosti Pi=0,02, a za elektronke tipa II sa vjerojatnosti 
Po=0,04. 


P(bh) Art) Atta) AH) AP(l4s) 


(odg.: P=0,37) 


I.13. Odrediti vjerojatnost da pošiljka od loo proizvoda, medju 
kojima ima 5 loših bude primljena, ako se ispituje polovina nasum- 
ce uzetih proizvoda, a uslov prijema je da medju pedeset proizvo- 
da na buda loših više od jednoga. 

(odg.: P=0,181) 


Srednja ili potpuna vjerojatnost 





Promatrajmo slijedeći primjer koji često susrećemo u 
praksi: Telegrafskim kanalom prenosimo neki tekst, kod čega u ka- 
nalu djeluju smetnje. Treba odrediti kako se često pojavljuju 
pogreške u tekstu uzrokovane izobličenjem signala uslijed smetnji, 

Različiti znakovi se u telegrafskom prijenosu predaju 
različitim impulsnim kodovima te radi toga imaju i različite vje- 
rojatnosti da budu pogrešno preneseni, Osim toga razni znekovi se 
u prosjeku susreću u jeziku rijedje ili češća, što zavisi o sta- 
tističkoj strukturi jezika. Na taj se našin kod izračunavanja vje- 
rojatnosti pojave pogreške u tekstu (ne gledajući na koje se Zzna- 
kove ona odnosi) može govoriti samo o nekoj prosječnoj, srednjoj: 
vjerojatnosti koja uzima u obzir frekvencije pojavljivanja pojedi“ 
nih znakova i vjerojatnosti izobličenja pripadajućih signala. 

U iznesenom i sličnim primjerima općenito može jedan t9 
isti dogadjaj (pogreška znaka) nastupiti pod različitim okolnos- 
tima (predaja raznih znakova) koje se game pojavljuju s odredje “ 
nim vjerojatnostima. 

Postavimo sada problem u općenitom obliku. Označimo d9% 
gadjaj za koji želimo izračunati srednju vjerojstnost sa A. Do 
gadjaje preko kojih se samo može dogoditi dogadjaj A označimo sa 


51.5 Sreonja vjerojatnost 









Pretpostavimo da su hipoteze dogadjaji, koji se isključuju, i da 
ie obuhvaćaju sve moguće ishode t.j. čine potpuni skup dogadjaja, 
: nastupaju sa vjerojatnostima P(Hl), P(Ho).... P(E,). Iz gornjih 
Istpostavki izlazi da je: 


P(H)+P(E)+...+P(E,)+...+P(E) m1 (1.23.) 


fedimo i uslovne vjerojatnosti realizacije dogadjaja A uz pojavu 
Jake od hipoteza: 


P(A/B]); P(A/B3) .... P(A/E,) .... P(A/BQ) 


Ogadjaj A nastupa kao rezultat hipoteze H,, pa tako on može nas- 
IPiti kao rezultat hipoteze HI sa vjerojatnosti: 


P(H,.A) = P(Hy). P(A/E]) (1:24.) 


SO se može napisati i za ostale hipoteze: 
BI, Ho, EH; ... E, ... E. 


i nazovimo ih hipoteze (slika I.5.) 
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P(E,.A) = P(H,). P(A/B,) 


s.t...,o.estorozenosavosse 


P(H,+A) = P(H.). P(A/H.) (1.25,) 


Nas zanima nastup dogadjaja A bez obzira na koji je on način nas. 
tupio, Prema tome imamo s hipoteza koje se isključuju, a sve do- 

vode do dogadjaja A ta je srednja vjerojatnost: 
P(A)=P(H,.A)+P(H,.A)+ -<- +P(Hp.A)+ +++ + P(E,4A) (1.26,) 


što daljnjim uvrštenjem daje: 


P(A)=P(H,).P(A/Ep)+ P(E9).P(A/H,)+...+P(H,) PA/HD)+.... 


...+ P(H,).P(A/H,) = 


. ) P(E,).P(A/H,) 


i=1 


(I.27.) 


t.j. potpuna (srednja) vjerojatnost dogadjaja A jednaka je sumi 
produkata vjerojatnosti hipoteza i uslovnih vjerojatnosti dogadja“ 
ja A izračunatih u odnosu na svaku hipotezu 


PRIMJER: 


1.9. Po kanalu za prijenos podataka predaje se kodirani brojčani 
tekst. Vjerojatnosti predaje pojedinih cifara nisu jednake, i Kk2" 
rakterizirane su podacima u tabeli: ' 






PNAKENKE VJEROJATNOST PREDAJE|VJEROJATNOST POGREŠKE 
USLIJED SMETNJI 


P(H,).P(A/H,, 


0,001 
909,0024 
9,0036 
2,0012 
090,0028 
0,006 
090,0027 
0,004 
9,00337 


O O+ omu = u Bo 


9,001 


trećem stupcu prikazane su vjerojatnosti nastupa pogreške za po- 
jedine znakove uslijed djelovanja smetnji u kanalu, 


Rješenje: 


| Predaja cifara 1,2,3 .... ovdje su hipoteze EH, čija je 
IJSrojatnost nastupa poznata. takodjer su poznate uslovne vjero - 

latnosti P(A/H,) koje pokazuju vjerojatnost pogrešnog prijema po- 

tSdine cifre pod uslovom da je ona predana. 

“8limo li izračunati vjerojatnost dogadjaja A, koji označava pog- 
San prijem bilo koje cifre tada izlazi: 


lo 


) P(H,).P(A/H,) = 0,028 
i=1 


P(A) = 


lo, U digitalnom sistemu za prijenos informacija,vijesti su pri- 
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kazane slijedovina simbola koje možemo označiti sa "O" 1 "1", Sta. 
tistička svojstva smetnji su takva da se u prosjeku prenese pograg. 
no 2/5 signala "0" i 1/5 signala "1", Poznato je da u slijedu sin. 
bola postoji odnos izmedju broja nula i jedinica 5:3. 
Treba odrediti vjerojatnost da je pravilno primljen predani sim 
bol ako je 

a) primljen simbol "0" 

b) primljen simbol "1" 





Rješenje: 
mo pm. mmm rp. 
4% 
26 
kh —>/—> P)-3 za 1 —B8 


S(.f-6 Shemo prijenoso 


Oznašimo sa dogadjajem A - primljena je "0", a sa B - primljena je 
"1" (sl.I.6.) 
Možemo načiniti dvije hipoteze: 


E, - predan je simbol 0 


H, - predan je simbol 1 
Budući da je P(H,) : P(H,) = < x, 


P(Hp)+?P(H,) = l1- izlazi 


P(H=-2- i P(uz)e-ž- 


LJ 


“ BiB « 


toga iz uslova prijenosa izlazi: 


OPA/H) = a , P(A/B,) = za 


P(B/E]) = 2/5, P(B/8,) = > 
fjerojatnosti dogadjaja A 1B su: 
P(A)=P(H]).P(A/H])+P(H2).P(A/H,) = 
2Bodh++. 4-4 
P(B)=P(H]).P(B/H,) +P(H,).P(B/H,) = 


ŽAR .4 08 






telimo li izračunati vjerojatnost pravilnog prijema, to ćemo pro- 
Testi pomoću združene vjerojatnosti hipoteze i odgovarajućeg do- 
sljaja: 


P(Ej.A)=P(H,).P(A/H,)=P(A).P(H]/A) 


ž gornje relacije izlazi vjerojatnost 


P(H,).P(A/H 
P(EL/A) = PE 


P(A) 


sdstavlja vjerojatnost za a) slučaj zadatka, t.j uslovna vje - 


atnost da je nastupila hipoteza H,, ako se dogodio dogadjaj A 
“ Numerički: : 


ma * EA 


P(E,/4) = Zara i sa 
4 


. 250 + 


Istim postupkom dobiva se za slučaj b) 


3 2 


P(H).P(B/H)] 8. 3 1 
imi) m a Ki kdo 


P(B) 1/2 2 


ZADACI: 


I.l14. Upravljanje jednim strojem na daljinu vrši se pomoću dviju 
komandi: "naprijed" i "natrag". Izračunati potpunu vjerojatnost 
pogreške komandi uslijed smatnji, ako ja vjerojatnost predaje ko- 
mande "naprijed" Pi=0,2, i vjerojatnost njezinog pogrešnog prijema 
Pal = 0,4, a vjerojatnost predaje komande "natrag" P 
rojatnost njezinog pogrešnog prijema Pao u. Oda 
(odg.: P= 0,16) 


a 0,8, i vje- 


I.15. U pošiljei ima looo otpornika: 7o0 od jedne serije i 500 od 
druge. 

Odrediti vjerojatnost, da će jedan slučajno izabrani otpornik bi- 
ti neispravan, ako je vjerojatnost neispravnog otpora u prvoj 38- 
riji 09,05 a u drugoj 0,04. 

(odg.: 0,054) 


1.16. Na jednoj poziciji impulsnog koda mogu s jednakim vjerojat- 
nostima biti predani "jedinica"(impuls) i "nula"(pauza). Odrediti 
potpunu vjerojatnost nastupa pogreške na toj poziciji koda, eko 
se "jedinica" pretvara u "nulu", uslijed djelovanja smetnji, 58 
vjerojatnosti Šig = 0,04, a "nula" u "jedinicu" Pio = 0,2. 

(odg.: 0,12) 

I.17. Odrediti potpunu vjerojatnost nastupa pogreške u kodu 88 
tri pozicije. Vjerojatnosti predaje pojedinih kodnih kompleksije 
su jednake. Smetnje pretvaraju "nule" u "jedinice" i obratno na 
različitim pozicijama nezavisno, i sa vjerojatnostima kao u za 


- 


ja 
datku Id6Kompleksija se smatra pogrešnom, ako je pogreška nastupi 













a barem jednoj poziciji. 
pdg.: 0,32) 


Vjerojatnost nastupa dogadjaja m puta u n nezavisnih 
ispitivanja : 


fromatrajmo slijedeći primjer: 
a ulaz prijemnika dolazi serija impulsa, čije su amplitude jed- 
naKe (sl.I.7.) 


St. I- 7. Senjicr impuisa 


Pojava svakog impulsa može se smatrati kao eksperiment (ispitiva- 
Nje) šiji je rezultat: impuls prolazi na ulaz prijemnike (dogadjaj 
\) ili biva potisnut smetnjama (dogadjaj 4). Iz serije svih impul- 
Ba na ulaz mogu proći 0,1,2 .... impulsa, 

Kako izračunati vjerojatnost mogućih ishoda u seriji is- 
bitivanja? 

Razmotrimo općenito problem. 

"Značimo sa n ukupan broj pokusa u seriji, pri kojima se može po- 
Javiti dogadjaj A. Vjerojatnost pojave dogadjaja A u svakom od po- 
Susa je ista i jednaka P(A), a vjerojatnost da on na nastupi je 
(A) = 1-P(A). ' 

Od jimo redom, te nadjimo najprije vjerojatnost da se dogadjaj A 
OjJavi O puta u n ispitivanja t.j. A će se pojaviti n puta. Sva is- 
ltivanja su nezavisni dogadjaji, pa će prema tome biti: 


Pn(0O)= P(4) a [1-P(4)] i (1.28) 
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m n-m : 
P (m)=( 2 [Pa] . 1-P(A 54, 
Slučaj kada dogadjaj A može nastupiti tačno jedamput u n ispiti. nim)=( m) [P(4) [ C )/ (1.34.) 


vanja može se desiti na n različitih pozicija. Na pr.i X 
sornji izraz naziva se obično Bernoullijeva formula, 
Red. broj ispitivanja: 1 2 B ose otonoose N 


- - -- 


Rezultat: A A  e.: PRIMJERI: 


Za jedan takav slučaj vjerojatnost je: 


T,l11. Pulsno-kodna kombinacija (81.I,8.) sastoji sa od šest im - 


n-1 pulsa ("1") i četiri slobodne pozicije ("0") 


»(a). [Pi] "7 erca) [1-P)] (1.29.) 


Budući da dogadjaj A može nastupiti na bilo kojoj poziciji izlazi 
po teoremu o zbrajanju vjerojatnosti: 


n-1 
P,(1) = n.P(4) [1-P(4) | 1.30.) 


"" 


' S.F-8 Pulsno-kodno kombinaejjo 
Isto je tako vjerojatnost da nastupi tačno dva puta dogadjaj A u ' 


bilo kojoj poziciji: 


Slijed djelovanja smetnji svaki od impulsa može nestati sa vje- 
Ajatnosti Plo" 0,04, a na svakoj slobodnoj poziciji može se po- 
Javiti lažni impuls sa vjerojatnosti Pol = 0,1. Pretpostavlja se 
da smetnje djeluju na raznim pozicijama nezavisno. 

šTeba odrediti: 


P(A)“ = [1-()] sni (1.31.) 


pa budući da takvih slučajeva može biti (2 ) (kombinacije bez pre 
navljanja) izlazi: 
, n-2 : a 
(9)e2( 2 2 zi (I.32.) a) Vjerojatnost da će se u kombinaciji izgubiti tačno dva im- 
Ba(2)=( 2) (a)? [1-P)] dosa 


dao t ta slijedi analogno: b) Vjerojatnost da se na praznim pozicijama u kombinaciji 
Za slučaj nastupa dogadjaja A tačno tri puta slije a sko Koi Bra toda brani 


u : n .) : 
Po(3)=( = ) P(A) [1-00] | (1.77 Rješenje: 
“ PTedaji koda koji sadrži šest impulsa u kombinaciji, može se 


Sada možemo napisati općenito vjerojatnost da dogadjaj A nastupi PStanak impulsa smatrati kao ishod jednog od šest ispitivanja. 


m puta u n ispitivanja: 
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Tačno dva impulsa će nsstati sa vjerojatnosti: s vjerojatnosti 0,2. 


P(2)=( 6) PŽ, (1-P,o)9 2 = Son 

Iaračuna jmo najprije vjerojatnost da se krug ne prekine. To će 
biti onda ako sa ne prekine ni jedan od elemenata A ni B niti gra- 
na sa elementima € u bilo kojem položaju preklopvke. 

Vjerojatnost da sa element A ne prekine je 0,7, da se B ne preki- 
8 0,6 a vjerojatnost da se € ne prekine je 0,8. 


je prema tome vjerojatnost da se krug ne prekine: 


= 15. 0,042 i 9,96% = 0,0204 


Ka isti način dolazimo do vjerojatnosti da se na praznim pozici . 
jama pojave tačno dva lažna impulsa: | 


2 2 

PA(2)=( 4) F5, (1-Po)* = 

4 2 “ol ol Pn=0,7% . 0,6 [0,04 4.0,8% . 0,2" 5.0,82 . 0,22 20,8.0,2%] š 
=6.0,1“. 0,9“ = 0,04856 A B kombinacije C 

I.l12. Elektronički uredjaj sastoji se od dva bloka tips A, jednog = 0,282 


bloka tipa B i ćetiri bloka tipa O, koji su sastavljeni na način, 


kako je to prikazano na slici I.9. Vjerojatnost prekida kruga je: 


P= 1-P = 0,718 


ZADACI: 


1,18, Električni krug sastoji se od četiri paralelno vezana pot- 
Tošača (slika I.lo.) 





o otkloniti SL.I-1o Elektneni krug uz zadatak T-13 


Odrediti vjerojatnost prekida kruga, koji se ne bi moga . 
pomoću preklopke K, ako se elementi tipa A prekidaju sa vjerod? 2 


i : : ti tipo he a 
nosti 0,3, elementi tipa B - s vjerojatnosti 9,4 i elemen Grediti vjerojatnost da će tri od njih za neko vrijeme t prekinu- 
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ti rad, ako je vjerojatnost prekida rada jednoga od njih za isto možemo napisati vjerojatnosti za pojedine slučajeve od m+1l, m+2... 
n+i..., A, pa budući da svi mogući ishodi potpuni skup dogadjaja, 
može se za vjerojatnost da dogadjaj A nastupi ne manje nago m pu - 


ta u n ispitivanja napisati: 


39 vrijeme Pi = 0,06. Nedjusobnih utjecaja u krugu nema, 
(odg.: 0,00081) 


1.19. Šest potrošača priključeno je na neki izvor, Vjerojatnost 
kvara koja dovodi do isključenja potrošača, za prvi potrošač je 
9,65, za drugi 0,2 i za ostala četiri 0,3. 

Odrediti vjerojatnost, da izvor bude u potpunosti isključen (i=0) 


n-m 


Ba m)e(2) [200]". [1-0]74 (a [rw]. 


ako su 


a) svi potrošači spojeni u seriji 
b) spojeni prema shemi na slici I.11.: 


ma 2-3 
Lai GE 32208 (Goa 
(S)—(5) 


Sl-T-41 Električni krug uz zadatok 7-19 


: ETO iii <. *U 2) [rw]" * [io denod 


++. [rw] = y (i ad * [eco]? (1.35.) 


i=m 
[stu relaciju može se prikazati i na slijedeći način: 


PŽ a)al- La: ŠE [o] [1-,a]"“ (I.36.) 


(odg.: a) P£0,923$ b) P£09,177) i=0 


1.29. Vjerojatnost da elektronka nakon 1000 sati rada ostane 1s- 
pravna je 9,2. 

Kolika je vjerojatnost, da barem jedna od tri lampe ostane isprav“ 
na nakon 1000 sati rada? 
(odg.: P= 0,498) 


Istim postupkom možemo doći i do relacije za drugi slučaj t.j. da 
še dogadjaj A un nezavisnih ispitivanja pojavi na više od m pu- 


Često nas u praksi, osim gore navedenih slučajeva za izračunava“ 
nje vjerojatnosti da se dogadjaj A u n nezavisnih ispitivanja P% 
javi tačno m puta, zanimaju još dva: da se dogadjaj u n nezavis “ 
nih iszitivanja pojevi ne manje nego m puta i ne više nego m puta» 
Pol2zeći za prvi slučaj od općenite formule (1.34.) izvedene r#" 
nije: 


2 d B-i 
Bi(£a= ) Go[rw] [1] (1.37.) 
i=0 ' 


ddnosno drugačije napisano: 


Pl an)=1- >. (2) [2o]" [1-2] (1.38.) 


Pm) = (2) [Pc] 5. [1-10] niši ia 
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PRINJER 1 








T,14. Pulsno-kodne kombinacije, u nekom sistemu za prijenos poda- 
taka, u cilju zaštita od smetnji (koje mogu pretvarati jedne kom- 
binacije u druge), formiraju se samo od parnog broja impulsa, Kom- 


1.13. Uslijed okretsnja antene izvidjačkog radara, uspjeva se og binacije sa nepsrnim brojem impulsa smatraju se na prijemnoj stra- 


abjekta (aviona) reflektirati 8 impulsa, Kolika je vjerojati st da 
za cilj otkrije za vrijeme jednog okreta antene, ako je Za otkri. 
vanje cilja potrebno da barem 5 impulsa prodje kroz prijemnik na 
indikator, a vjerojatnost, da jedan odjeljeni impuls bude izgub - 
ljen u prijemniku uslijed smetnji je flo = 0,1. Pojedini impulsi 


smetani su nezavisno, 
ju da se pojave lažni impulsi na praznim mjestima ako je vjerojat 


nost pojave jednog lažnog impulsa Po = 0,4, a lažni impulsi se na 
raznim mjestima pojavljuju nezavisno. 


Rješenje: 


Pojavu 8 u slijedu reflektiranih impulsa na ulazu prijemnika, mo - 
že se razmatrati kao skup nezavisnih ispitivanja čiji je rezultat 
da nastupa ili ne nastupa dogadjaj: nestanak impulsa uslijed djelo- 
vanja smetnji. 

Budući da je vjerojatnost nestanka impulsa Pio s 031; 
bit će vjerojatnost da se on ne izgubi f, = 1-P14 = 0,9. Vjerojat- 
nost da se cilj otkrije je tada jednaka: 


s. pora sne 


ć 
S. T-/2 Pulsno-kodna kormbinocija 


8 t 8-i 
Potkr. 7 Pa( A 5)= ) (1)P, (1-B,) Z 


iss Rješenje: 


Pogreška u kodu može nastupiti pojavom dva ili četiri lažna impul- 


8 : 8 6 2 
= ( 5 ) 9,9? (1-0,9)? + (£ ) 0,97 (1-0,9)“ + Sa, Pa je prema tome vjerojatnost pogreške: 


+45) 0,97 (1-0,9)4+( 8) 0,9% = Pg= P(2)+P,(4)=( 2) PELO-Poq) 2+ (4) Pb, 2 0,37 


m rame rm py ma sa san 0:15 4+ 
£.2.%. 45 1.2 

ZADACI: 

+8.0,97 .0,1+0,95._ = 0,98 ' 

“+21, Izračunati vjerojatnost nastupa pogreške u kodu iz primjera 
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' 


I.l14., u slušaju da se ne kontrolira parnost broja impulsa na pri. 
jemnoj strani, te pogreška nastupa ako se pojavi makar jedan lažni 
impuls na bilo kojr j praznoj poziciji kođa. 


(odg. :P, = 0,87) 


1.22, Predajnik je poslao slijed od četiri signala. Vjerojatnosti 
prijema svakog od njih ne zavise o tome da li su primljeni ostali 
te iznose redom: 0,1; 0,2; 0,3; 0,4. Odrediti vjerojatnost da bu- 
de primljeno k signala (k= 0,1, 2,3, 4). 
(odg.: P,(0) = 0,37024 P,(1) = 0,4404, 


P,(2) = 0,2144, P,(3) = 0,0404 


P,(4) 0,0024) 
1.23. Elektroniški uredjaj prestaje pravilno funkcionirati ako se 
uništi više od 5 tranzistora tipa I. 1 više od dva tranzistora ti- 
pa II., koji su u njemu ugradjeni. 
Izračunati vjerojatnost da uredjaj ne radi pravilno, ako je pozna- 
to da je uništeno pet tranzistora, a vjerojatnost uništenja tran- 
zistora tipa I. ja 0,7 a tipa II. 0,7. 
(odg.: 0,64) 





Teorem hipoteza 
U praksi susrećemo često probleme slijedeće vrste: nekim 
telekomunikacionim kanalom predaju se informacije (znakovi alfabe- 
ta, brojevi i t.d. ). U kanalu djeluju smetnje, radi kojih nastu- 
paju pogreške, t.j. jedni simboli mogu se sa odredjenim vjerojat 3 
nostima pretvarati u druge. Pretpostavimo da je primljena neka vi 
jest (simbol) A. Budući da simbol uslijed smetnji može biti pogrt" 
ž*an, potrebno je izračunati kolika je vjerojatnost, da je stvarno 
takav simbol predan na predajnoj strani, ili da je stvarno preda" 
neki drugi simbol. : 

Izvedimo izraz za tu vjerojatnost, koristeći se 
nom shemom prijenosa informacija prema slici I.13. 


H. 


Označimo simbole koji se mogu predavati sa f>,E2,H, ... E 


"ključino u te simbole i simbol za interval (pauzu) izmedju preda- 
Ba, tako da skup E .«. E uključuje sve mogućnosti koje mogu nas- 
* Piti na predajnoj strani, Primljene simbole za razliku od preda- 
Yanih označimo sa B,C,A, +... D, ... E. 

Kada nema smetnji, postoji potpuna podudsranost izmedju 

P edavanih i primanih simbola t.j. predanom simbolu EST tačno odgo- 
Zara primljeni simbol B, E, -Cit.d. Na taj se način nakon prije- 


Ta simbola B može sasvim odredjeno reći da je bio predan simbol m 


konkr8*“ Mtd. 


s. 262 » dm e 
ućito je da dogadjaji H,, Ho... Ho imaju u gornjim izrazima ulogu 


U prisustvu smetnji jednoznačno pridruživanje Simbola . Sa 
hjrotaza, 


se narušava, 

Pretpostavimo đa su vjerojatnosti predaje razlićitih simbola poz 
nate i jednake: P(H1), P(Hp), P(H3) šo P(H,) dea P(H.). Smatrano 
li predaju simbola dogadjajima, tada se dogadjaji Hi» E, a. La 


Neka je primljen simbol A, Ranija shema prijenosa može 
ga zovjednostavniti, odbacivši nepotrebne dogadjaja Za taj slučaj 
Fe1. I.14.). ' 


med jusovno iskljušuju (svaki puta se predaje samo jedan simbol) i 
*ina vsotpuni skuo t.j. 


s Ž 
) PH) = 1 | 1.39.) 
i=1 


Uzmimo takodjer, da su poznate uslovne vjerojatnosti: 


P(A/Bj), P(B/B)), P(O/Hq) ++. 
(1.40.) 
P(A/H2), P(B/E2), P(0/H,) a... 


it.đ. 


Svaka od tih vjerojatnosti, predstavlja vjerojatnost da je prim - 
ljen neki od simbola (A,B,C ...) pod uslovom da je predan neki od- 
redjeni simbol Hi. 

Posluživši se danim podacima, možemo izračunati vjerojat- 
nost pojave nekog simbola na prijemnoj strani. 
Tako je vjerojatnost pojave simbola A na prijemnoj strani: 





PA) = 3 P(H,) P(A/H,) (1.410) 
i=1 
za simbol B je: J diti potrebno je odrediti uslovne vjerojatnosti razlišitih hi - 
s BOteza Hi kod prijema A. 
P(B) = ) P(H,) P(B/H,) (1.42: Uznimo da je predaja tekla duži period, ta je bilo prim- 
i=1 


it.d. 
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ljeno n (n je velik) različitih simbola: A,B,C,D .... . Odbacimo dili uvrstivši u nazivnik ranije izveden izraz: 


sve druge simbole osim A. U čitavom skupu od n primljenih simbola 


Kolišina A simbole može biti u prosjeku: : P(H,) . PLA/E,) 


P(H,/A)= ---5---------5>_- ' (1.46.) 
m=n. P(A) (I.43,) n 
» P(H).P(A/E,) 
gdje je P(A) - potpuna vjerojatnost pojave A. Medjutim samo dio ci. ia 


jele količine simbola A pojavljuje se u prijemniku kao posljedica 


daje nekog konkretnog simbola H,. Količina takvih «izojia A ja: 
predaje 8 i Vjerojatnost P(H,/A) naziva se aposteriorna vjerojatnost dogadjaja 


Hy, Za razliku od apriorne vjerojatnosti P(H,), koja je poznata vri- 
je eksperimenta i ne zavisi od njegovog rezultata. 

Izraz za aposteriornu vjerojatnost obično se još naziva formulom 
Bayes-a. 


= . KK d£,d 
NKA n. P(H,) P(A/H,) 
gdje je P(H,).P(A/H,) - vjerojatnost nastupa para (F,: 


Rečeno možemo ilustrirati shemom prema sl. 1.15. U suvremenoj teoriji prijenosa informacija ima naročitu 


važnost formula za aposteriornu vjerojatnost. Pomoću nje može se, 
primivši neku informaciju, izračunati aposteriorna vjerojatnost 

Za sve informacije, koje su stvarno mogle biti predane, i prihva - 
titi kao istinitu onu, čija je aposteriorna vjerojatnost najveća; 
kod toga nisu isključene pogreške, no na taj način njih će biti sva- 


kako manje u usporedbi sa drugim principima prihvaćanja informaci- 


MupsP P(Hi)-P(AlM) 
(A 





0DOD0O0OO doze DODD 





Po principima maksimalne aposteriorne vjerojatnosti radi 


i t.zv, "idealni prijemnik" informacija. 


rje NPA)enŽ Py Pala) 


x PRIMJERI: 
S1.T-45 Uslovne vjerojatnosti hipoteza 


+15. Vjerojatnost prisustva cilja u zoni djelovanja radara je 
P(C)=0,2. Vjerojatnost otkrivanja od cilja reflektiranog signala 
£Ooji je pomješan sa smetnjama je P(S/C)=0,7.. Vjerojatnost pojave 
lašnog signala na indikatoru samo uslijed djelovanja smetnji je 
P(8/G)=0,05. i 

Odrediti vjerojatnost, da je pojava signala na ekranu indikatora 
Posljedica otkrivanja cilja, a ne djelovanja smetnji. 


oni 
Od sveukupnog broja primljenih simbola A križičima su označeni 


koji su nastali od dy. LE 
Prema tome je vjerojatnost da je bio predan simbo i 


ako je primljen A: 
P(H,).P(A/H,) 


45.) 
> Rješenje: 


= 267 = 
- Doć a 
P(K,A)=P(K).P(A/K)=P(A).P(K/A) . 


P(K)=P(4).P(K/A)+P(B).P(K/B)+P(C).P(K/C)+P(D).P(K/D)= 
0,2.0,5+0,1.0,7+ 0,440,9+0,;3.0,4= 
0,l1+0,07+92,36+9,12 = 0,65 


Označimo vjerojatnost da cilj ne postoji. sa P(C). Dogadjaji 0 iq 
su dvije jedino moguće pretpostavke o dogadjajima koje označuje PO- 
java signala na ekranu. Vjerojatnost da se pojavi icilji Signal 
reflsektiran od njega je: 


P(A/K) = 0,154 
P(C,S) = P(C) . P(S/0) 
P(B/K) = 2491 = 0,105 
Vjerojatnost da cilja nema a signal se pojavio je: ,65 
q T GC P(O/K) = 9226 _ 
P(C.S) = P(C) . P(S/C) /K) = = 0,55 
0,65 
Vjerojatnost da se signal pojavi bez obzira čime je on uzrokovan ja: 
P(D/K) = 9112 _ 9,12 _ 0,185 
0,65 0,65 


P(S) = P(C).P(S/C) + P(0).P(S/0) 











Vjerojatnost da indicirani signal pripada cilju jet Nejvjerojatniji uzrok kvara je dogadjaj € - proboj kondenzatora, 


ZADACI: 
P( C/S)= Soo P (C).P(S/0)____— 
P(C).P(S/0)+ P(G).P(S/0) 

1,24, U nekom telekomandnom sistemu upravljanje se vrši pomoću dvi- 

0,2.0,7 JE komande: "gore" i "dolje", koje se predaju s vjerojatnostima: 

m ----------------- = 0,78 a 
0,2.0,7+0,8.0,05 / P(G) = 0,2; P(D) = 0,8 

Od utjecajem smetnji komanda "gore" pretvara se u komendu "dolje" 

Yjerojatnosti P(D/G) = 0,1, a komanda "dolje" u komandu "gore" s 

Jerojatnosti P(G/D) =0,2. 

sZimljena je komanda "dolje". 

Solika je vjerojatnost da je predana komanda "gore"? 

IdZ.: 0,03) 


1.16. Kvar elektroničkog uredjaja (dogadjaj K) nastupa: 


- ako se kratko spoji elektronka, što nastupa s vjerojat - 
nosti P(K/A)= 0,5 
- ako je nastao kratki spoj na namotaju transfornmat 
vjerojatnosti P(K/B)= 0,7 
- ako probije kondenzator - vjerojatnost P(K/C)= 0,9 
_ ostali uzroci nastupaju s vjerojatnosti P(K/D)= 0,4 
Apriorne vjerojatnosti dogadjaja A,B,C 1 D su: 


P(A)= 0,2; P(B)= 0,1; P(C)= 0,4; P(D)= 0,3 
Odrediti najvjerojatniji uzrok kvara, nakon što je kvar nastupi? 


ora Se 


2% Telekomunikacijskim kanalom prenose se sa jednakim vjerojat- 
ina četiri vijesti: A,B,C i D. Vjerojatnosti prelaza jedne vi- 
ŠSti u drugu djelovanjem smetnji dane su tablicom: 


Rješenje: 
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Aj Az eee Aa (skup svih znakova). Poslije pojave prvog dogadjaja, 


PRIMLJENA VIJEST vjerojatnosti pojave različitih dogadjaja u drugom "koraku" su za- 


u A B G D zisne o tome kakav je dogadjaj nastupio u prvom "koraku". Sistemi 
A 0,5 0,0 0,4 0,1 koji se ponašaju po takvom modelu, mogu se razmatrati pomoću t.zv. 
, , 
B 0.2 0,5 9,1 0,2 diskretnih Markovljevih lanaca ( po ruskom matematičaru A.A, Mar - 
, , 
0 9,4 o,1 0,2 0,3 ru). : pam ia 
D 0,2 0,2 0,5 0,1 Šesto se umjesti dogadjaja A], Ay +... A, govori o sta - 


njima Al' Ao a... A4 u koje razmatrani sistem prelazi od slučaja do 
slučaja s odredjenim vjerojatnostima. 

Teorija Markovljevih lanaca predstavlja široko razradje- 
ni dio teorije vjerojatnosti, te ćemo se ovdje zadržati samo na 
njihovom najelementarnijem obliku. To su homogeni Markovljevi lan- 
ei prvog reda, Markovljev lanac je prvog reda, ako vjerojatnosti, 
da sistem poprimi razlišita stanja u svakom "koraku" zavisi samo 

o toma kakvo je stanje imao u Predhodnom "koraku", i ne zavisi o 
stanjima koje je imao u svim ranijim "koracima", 

Homogeni lanac je onaj, gdje skup svih stanja u koja mo- 
že sistem preći ostaje isti u svim "koracima" (mijenjaju se samo 


Izračunati aposteriorne vjerojatnosti za svaku vijest, te pokaza- 
ti kakvu bi zamjenu vijesti trebalo izvršiti na prijemnoj strani 
da bi broj pogrešaka bio najmanji: 
(odg.: PRIMLJENO: ABCOD 

TREBA ČITATI: ABDC) 


1.26, Riješiti zadatak 1.25., ako apriorne vjerojatnosti nisu jed- 
nake, već iznose redom: 0,2; 0,43 0,3 i o,l 
(odg.: PRIMLJENO: ABCD 

TREBA ČITATI: DBAC) vjerojatnosti prelaza). 
Diskretni Markovljevi lanci 


U nastavku će se prikazati osnovni pojmovi o Markovlje- 
vim lancima, pomoću čijeg matematičkog modela možemo predstsviti 
mnoge sisteme elektrokomunikacija. 

Uzmimo kao primjer prijenos teksta na hrvatsko-srpskom 
jeziku telegrafskim kanalom, Poznato je, da se u hrvatsko-srpskom 
jeziku pojedini znakovi susreću s različitim frekvencijama, pa ag 
ma tome imaju različite vjerojatnosti pojavljivanja. Osim toga vje“ 
rojatnost da se u tekstu pojavi neki odredjeni znak ovisi o tome» 
koji je znak ili grupa znakova predhodila. Različite vjerojatnosti 
pojave imaju vokali i konzonanti ovisno o tome što je bilo predano 
prije njih. zi 
Telegrafski prijenos možemo prikazati u obliku opće she 
eksperimenata koji se realiziraju u nizu "koraka". 

Prije početka prijenosa dane su odredjene vjeroj S 
da će se u prvom "koraku" (početak prijenosa) pojaviti dogadjaj 


Sanje Slaterma 





atnostt 


St. [- 45 Shana Neorkovjevog (anog 
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da on predje kroz k "koraka" u stanje dje 
Slika I.l6. shematski prikazuje homogeni Markovljev lanac prvog 

reda. Kružičima su označena moguća stanja sistema, a strelicama 


















pravci mogućih prelaza u pojedinim "koracima", Uz svaku strelicu 
mogu se označiti vjerojatnosti sa kojima sistem prelazi u to sta- 
nje iz prethodnog. Prelazne vjerojatnosti ustvari su uslovne vje - 
rojatnosti te na primjer Pio znači: 


Pio = P(A/Aq) (1.47.) 


Obišno se sve prelazne vjerojatnosti napišu u obliku kvadratne tab- 
lica: 


Pir. Piz Pius o?ijććt Fis 
PopoPoo Pos oPoj tt Pos 
P 





I. 8. 
Psa oTs2 Poso osjeća Ga) 


S(.[-17 Ritorje prijelaza 


EEE EEK EKE KEKE KEKE KEKE 


P 


P 33 sj ... "ag 


sl Ps2 P 


koja tada dobiva značenje matrice prelaza. Suma vjerojatnosti sva- 


Očito je da prelaz sistema iz stanja A, u stanje A, može 
kog retka je: 


ići po raznim putanjama, t.j. kroz razna medjustanja. Neke od tih 
Putanja prikazane su na slici I.l7. 


a. Vjerojatnost da se proces razvije po nekoj konkretnoj pu- 
> P,j u (1.49.) anji može se naći pomoću teorema o množenju vjerojatnosti za ne - 
lo Zavisne dogadjaje. Na pr. vjerojatnost prelaza: a AA, 
ss 


4 —>Ai—— 4, je: 

. ri S- 
jer je to suma vjerojatnosti potpunog skupa dogadjaja koji se is L 
kljušuju. jana (Aj A1 Ai MA) =Pag Pro+Pog*Pai*Pij (I.50.) 
Matrica prelaza u potpunosti odredjuje svojstva Markovljevog& 


ri" 
Kod proučavanja nekog sistema šije se ponašanje može P 


+ jez 
kazati pomoću Markovljevog lanca, često je potrebno odrediti "Md 


TOj različitih putanja, po kojima može sistem preći iz jednog sta- 
Ja u drugo kroz k "koraka" (k=0,1,2 ... ), ako ima S mogućih sta- 


i ilć j tanje : . 
rojatnost, da sistem iz početnog ili bilo kojeg drugog Ija u svakom, jednak je S*, Razvoj procesa po različitim putanjima 


: ne" 
dje u k "koraka" u neko zadano stanje. Neka se sistem nalazi u 


< os 
kom stanju Ay (slika I.17.) i potrebno je izračunati vjerojatn 
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može se razmatrati kao dogadjaje koji se isključuju, 

Želimo li izračunati traženu vjerojatnost prelaza siste. 
ma iz stanja Aj u lj, bit će potrebno zbrojiti vjerojatnosti Prela. 
za po pojedinim putanjama, te izlazi: - 


s S S s 
hoda; NE ) oni )% : I 
Pas“ Bi“ boli" ljlo B lua lk : ( xBLJ 
i=1 i=1 iozl isl 


gdje je pi: - vjerojatnost prelaza sistema iz stanja A4 u stanje 
Aj preko k "koraka". 

Markovljevi lanci imaju veliko značenje u razmatranjima procesa u 
telekomunikacijama i regulacionim sistemima. 


I.2. Slučajne veličine 


Do sada smo razmatrali slučajne dogadjaje, no šesto će 
biti potrebno raditi i sa slučajnim veličinama, Slučajnom veliči- 
nom (varijablom)naziva se ona koja može kao rezultat nekog eksperi- 
menta poprimiti niz vrijednosti svaku sa odredjenom vjerojatnosti, 
Na pr, slučajna veličina je: ' 
broj izgubljenih impulsa u nekoj kodnoj kombinaciji pod 
djelovanjem smetnji 
broj elektronki koje se pokvare za odredjeni period 
rada uredjaja 
amplituda reflektiranog radarskog signala 
veličina napona šuma u nekom trenutku (trenutna vrijed“ 


U 


nost) 


Slučajne veličine mogu biti diskretne 1 kontinuirane. 
Diskretna slučajna veličina je ona koja može poprimiti niz disko“ 
tinuiranih prebrojivih vrijednosti (može ih se numerirati - PTV? 
dva primjera). 
Kontinuirana slučajna veličina je ona koja može poprimiti k š 
irano sve vrijednosti iz nekog odredjenog intervala (posljednji? 


ontinv“ 
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dva gore navedena primjera). 

Slučajnu veličinu možemo razmatrati kao poopćenje pojma 
slučajnog dogadjaja. Svakom dogadjaju iz nekog skupa može se pri- 
djeliti odredjena numerička vrijednost, koja će samim tim postati 
slučajna veličina, 


1.2.1. Diskretne slučajne veličine 


Vjerojatnosti sa kojima diskretna slučajna veličina pop- 
rima odredjene vrijednosti imaju različite iznose, te zajednički 
promatrane odredjuju zakon razdiobe vjerojatnosti promatrane slu- 
čajne veličine, Zakoni razdiobe vjerojatnosti mogu se prikazati u 
obliku tablice, analitičkim izrazom ili pomoću grafa, 

Zakon razdiobe vjerojatnosti zadan u obliku tablice na- 
ziva se i redom razdiobe, 





TABELA I.l. 


Tabela I.l. prikazuje skup svih mogućih vrijednosti slučajne ve - 
linčine x,i odgovarajućih vjerojatnosti P(X,). 
Vjerojatnosti moraju zadovoljavati uslov: 


n 


X xy) =1 


i=1l 


(I.52.) 


Grafički prikaz tabele daje poligon razdiobe (distribucije): na 

Si apscisa nanose se vrijednosti x,, a na ordinati odgovarajuće 
Vrijednosti P(xi). Parovi x Peri odredjuju vrhove poligona (sli- 
ka I.18.). 
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1. 29:89:88.87.86 


P(xX1) = P(o) = 12 l22:3:4 5... = 0,583 


190.99.98.37.26 
1.2.3.4.5 


Btali rezultati dani su tabelom I.2. 








LJ 7 Pa rare: 


St T-18. Poligon razdjebe 
9,340 0,070 0,007 





| TABELA I.2. 
PRIMJER: 
lože se vidjeti da je 


1.17. Iz vošiljke od loo proizvoda medju kojima ima lo loših iza- 
brano je nasumce pet radi provjere njihovih svojstava. ) Py) =1 
Kako izgleda poligon razdiobe slučajne varijable x, koja označuje 
broj loših proizvoda u uzorku? m 

Oligon distribucije prikazan je na slici I.19. 


Rješenje: 


U uzorku može biti bilo koji broj loših proizvoda od 0 do 5. Pre- 


ma tome slučajna veličina x poprima vrijednosti: 

*1 =0, X2x =l, i =2, TI =3, *s =4, 6 =5 
Od sto proizvoda može se 5 odabrati na de, načina, a da ih x kadi 
de loših i (5-x) dobrih može se desiti u (AO slučajeva. P7% 


ma tome je: 





(2%). aa 
P(x) = --?----<---- 
“i 5 4 5 X, 


St. 7:49 Poligon ojistribucije 
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Vjerojatnost, da diskretna veličina poprimi vrijednost Ili napisano u općem obliku: 


iz odredjenog intervala 


i=f? 
Pa<x<b)= ] P(1,) (1.54.) 
iz 


. zadan zakon razdiobe neke slučajne veličine (sli. 
ka I.20.) 


gdje je xu Šoaixa Šb, radi toga što se krajnje vrijednosti 
intervala ne moraju podudarati sa mogućim vrijednostima diskretne 
slučajne veličine. 


Punkcija razdiobe 


Pretpostavimo da je zadan zakon razdiobe nske slučajne 
veličine, Odaberimo na osi apscisa neku proizvoljnu tačku x. Ko- 
risteći izraz 1,54. možemo napisati 
A 
PX <x) = > P(x,) (1.55.) 
i=l 





K4OxX% X Mb Xs 


Sl.7-20 Vjerojatnost nastupa sluojine veličine iz ažredenog 
jrtervalo 


sdje se sumiranja provodi od lijeve početne vrijednosti slučajne 
feličine do x koji označuje najbližu moguću vrijednost do sA 
dazmatramo 11 x kao varijablu tada P(X < x) poprima smisao funk- 
čije od x, Iznosi te funkcije ovise o tome na kojem je mjestu osi 


BDS 


Kolika je vjerojatnost da ona poprimi vrijednost iz zadanog inter- 


vala (a.b). Očito je da u tom intervalu slučajna veličina x može 
poprimiti samo tri vrijednosti: x, Xz, X,» Prema tome će slučajna 
veličina imati vrijednosti iz tog intervala ako ima značenje Na 
X ili x ili xu. Vjerojatnost, da ona poprimi bilo kodu od i 
nutih vrijednosti jednaka je. sumi vjerojatnosti tih vrijednosti 
(po teoremu o zbrajanju vjerojatnosti): 


cisa odabrana tačka x, Prema tome može se napisati: 


P(X < x) = f(x) (I.56.) 


Unkcija F(x) je za svaki x jednaka vjerojatnosti da slučajna ve- 
ičina poprima vrijednost manju od x. F(x) naziva se funkcija raz- 
Šlobe slučajne veličine X, te.se može primjeniti kao jedna od for- 
Pa<ći< b)=P(x, + x, + x,)= izražavanja vjerojatnostnih svojstava slučajne veličine. 
Funkcija razdiobe je jednoznačno povezana sa Zakonom raz- 


lobe, Neka je zadan zakon razdiobe u vidu poligona (sl.I.2l.a) 


i 


i=4 a 
=P(xx)+P(x;)+P(x,)= ž P(z,) 
i=2 


(1.57: 
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S. T-214 Funkcija rozdjobe 


Lijevo od tačka x, funkcija razdiobe F(x) (s1.1.21.b) je nula 


g x2 
slučajna veličina ne može imati te vrijednosti, U intervalu 4 
ku 


funkcija F(x) ima vrijednost P(x1). Zatim nastupa novi sko 
tervalu (x2,3) i funkcija je jednaka: 
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P(x) = P(x1) + P(x,) « (1.57.) 


t.d. 











Na taj način dolazimo do stepeničaste krivulje sa skoko- 
vima u tačkama mogućih vrijednosti slučajne veličine. Rast krivu- 

lje uvijek počinje od 0 i završava sa vrijednošću 1. 

Prema tome su sve moguće vrijednosti funkcije distribucije u in - 


0o£F&x) £1 ze (1.58.) 


da slučajna veličina ima vrijednost iz nekog intervala (a,b). La- 
ko se može uz pomoć slike I.21.b zaključiti da je: 


P(a e x < b) = F(b) = P(a) (1.59,) 


Karakteristični parametri diskretne slučajne veličine 


Za karakteriziranje neke slučajne veličine nije uvijek 


Čini, koje karakteriziraju njena svojstva s odredjenog stanovišta. 
Takvi podaci mogu biti predstavljeni u vidu nekoliko brojeva na od- 
Tedjeni način povezanih sa zakonom razdiobe, koji se zovu karakte- 
Tistični parametri diskretne slučajne varijable. Ovdje ćemo opisati 
tri najćešće upotrebljavana: srednju vrijednost (ili matematičko 
IČekivanje), disperziju (ili varijancu) i srednje kvadratično od - 
Stupanje (ili standardna devijacija). 

Srednju vrijednost ili matematičko očekivanje diskretne slučajne 
Veličine x koja može poprimiti vrijednosti Il, Xp... žao... X 


E . s , 
daživa se veličina koju odredjuje formaula: 


jer 
X = x1P(x1)+ xoP(x,)+ +..+x,P(x,)+ “..t ZgP(xa) = 
g 
= I x,P(x,) (I.60.) 
 ixl 
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- 28I - 
Iz izraza 1.60, vidi se, da na srednju vrijednost utječu sve vri. 
jednosti diskretne slučajne veličine i njihove pripadajuće vjero - : 
jatnosti. CI ' “> 
Pretpostavimo li da neka slučajna veličina može poprimati sa jed- = “i -x) P(x,) (I.62.) 
i=1 


nakim vjerojatnostima kako negativne tako i jednake po apsolutnoj 
velišini pozitivne vrijednosti, tada će srednja vrijednost takve 
velišine biti jednaka nuli, Ako takva simetrija ne postoji srednja 


Sla 





e takodjer karakterizira rasipanje od srednje vrijednosti. 
vrijednost se pomiče u smjeru vrijednosti slučajne veličine koje 
imaju veću vjerojatnosnu "težinu" ili veću udaljenost od ishodišta, 
Srednja vrijednost ima uvijek dimenzije same slučajne veličine, 
Uvedimo veličinu (x; - 2) te je nazovimo odstupanje od 
srednje vrijednosti. Ta veličina može biti kako pozitivna tako i 
negativna. Za nas je interesantna veličina prosječnog odstupanja 
od srednje vrijednosti. Da bi mogli jednako uzeti u obzir i negativ- 
na i pozitivna odstupanja uvedimo veličinu: 


PRIMJER : 


1,18. Za zakon razdiobe slučajne varijable koji je nadjen u prim- 
eru I.17. nacrtati funkciju razdiobe i izračunati karakteristične 
arametroe. 


Rješenje: 


2 =)2 =)2 =)? 
G5 = (x, 2)% = (xp 2) PGpD)+ (x, x)“ Plxo)+... funkcija distribucije 


2+ Gy) Pr) +e. +, DO PA) = 


S 
š ) (x, 2)? P(x,) (1.61.) 
i=1 


zgja se naziva disperzija ili varijanca, Ošito je da disperzija 
predstavlja sumu kvadrata mogućih odstupanja od srednje vrijed - 
nosti uzetih sa "težinskim" koeficijentima, koji su jednaki vjero 
jatnostima pojave odgovarajućih odstupanja. Na taj način je disper“ 
zija karakteristika mogućih odstupanja slušs jne velišine od sredns* 
vrijednosti, 

Disperzija ima dimenziju kvadrata dimenzije slučsjne velišine + 
uvijek je pozitivna. 

Kvadratni korijen iz disverzije naziva se srednje kvadratičn 





o od- 


stupanje ili standardna devijacija t.j. 


39.T-22 Funkcjo razdiobe 


- ošekivanje 





Yo = ) xj.P(x,) = 0,501 
- disperzija 


o 


0,583 





0,432 


# (xy -2)% P(2,) = 


6? 


- srednje kvadratično odstupanje 


G = 


0,432 = 0,65 


Bernoullijev zakon raspodjele 

U konkretnim slučajevima problematike kojom se bave ko- 
pojave dadu se prikazati modelima, koji se opi- 
zakonima, Najvažnije od tih zakona za diskretno 
navest ćemo u nastavku. 
Bernoullijev zakon raspodjele. 


munikacije, mnoge 
suju statističkim 
slučajne veličine 
Navedimo najprije 


) tom sakonu je bilo već govora, Njegovo značenje se sastoji u to= 












ne da on opisuje za praksu veoma karakterističnu situaciju: izvo- 
\jenje niza nezavisnih pokusa (ili isvitivanja) u kojima nastupa 
jdredjeni ishod uvijek s jednakim mogućnostima, Ako je vjerojat - 
l9st tog ishoda, označimo ga sa A, P(A)=p, odnosno P(A)=I- p =a 
gjerojatnost da će dogadjaj A nastupiti x puta u n pokusa dana je 
relacijom: 

P(x)=(2)pća“* (1.63.) 
Karakteristični parametri slučajne veličine zadane binomnim 

ili Bernoullijevim zakonom su: 


- očekivanje: 
r=n . p (I.64.) 


- disperzija i srednje kvadratično odstupanje 


(I,65.) 


PRIMJER: 


1,19. Na ulaz prijemnika radarskog uredjaja dolaze kod svakog ok- 
Teta antene 8 reflektiranih impulsa.. 

Odrediti srednji broj impulsa koji dodju do ulaza prijemnika kod 

jednog okreta antene, ako je vjerojatnost da dodje jedan p=0,75. 

Koliko je prosječno kvadratično rasipanje od. tog srednjeg broja? 


Rješenja: 


Broj impulsa koji dolaze do prijemnika kod svake serije, 
Je slučajna veličina, raspodjeljene po Bernoullijevom zakonu: 


P(x)=(5) 0,75% , 0,258-* 
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Srednji broj impulsa je: (I.68.) 


I=n.p = 8 . 0,75 =6. 


: PRIMJERI: 
a srednje kvadratično odstupanje: 


6= \np = \e.9,75.0,25 = (2,5 = 1,225 






.20. Impulsna smetnja kerakterizirana je Poissonovim zakonom raz- 
iobe vjerojatnosti sa srednjim brojem impulsa koji se pojavljuju 
jednoj sekundi a = 1o* 1/sek, Naći vjerojatnost da se barem je- 
Poissonov zakon raspodjele lan impuls pojavi u intervalu Z = 100 Msek. 
Razmotrimo slijedeće primjere: 
Iz užarene katode izlijeću elektroni - u prosjeku A elektrona u 
sekundi, Kolika je vjerojatnost da u nekom intervalu promatranja 
At budu emitirana upravo, jedan, dva, tri i t.d. elektrona. 
Ili drugi: Na neku telefonsku centralu dolazi u toku dana u pros- 
jeku istovremeno N poziva. Kolika je vjerojatnost da u toku jedne 
minute dodje upravo jedan, dva, tri i t.d. 
Ovi i slični primjeri rješavaju se pomoću formule Pois- 


Rješenje: 


rednja vrijednost za odredjeni interval promatranja je: 
ne A5 46418? =4 
jerojatnost da se u zadanom intervalu ne pojavi ni jeden impuls je: 


sona, koja izražava zakon razdiobe vjerojatnosti koji vlada u tim vjerojatnost da se pojavi jedan i više t.j. barem jedan: 


uslovima, 

Situacije u kojima se može primjeniti Poissonov zakon, Pix &1) =1-P(0) S 0,652 
susreću se često i u teoriji pouzdanosti i zaštiti signala od sme- 
nji. Poissonov zakon možemo izvesti iz Bernoullijevog zakona ako 


je: 


1.21. Struja zasićenja diode je L =0,1A. Naći vjerojatnost da 


su iz užarene katode emitirani upravo jedan, dva i tri elektrona u 


n.p = konst. = m intervalu vremena = 10715 sek, Naboj elektrona je ded 0,10"*d=, 


' n— oo (p—0) što karakterizira rijet- 
Rješenje: 
ke dogadjaje: 
Tada izlazi: . i : : . 
: x Srednji broj elektrona koji su emitirani iz katoće može 
Maja o a? ' (1.66.) Se izraziti kao odnos struje zasićenja i naboja elektrona: 
x! 
Karakteristični parametri: E: | = mmm. sm Šš 1ot7 1/sek 
- očekivanje 1,59.10759 


ka = m (1.67.) 


- srednje kvadratično odstupanje 
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Srednji broj elektrona emitiranih u odredjenom intervalu 


m=A.% = 6,5.1017,10718. 0,65 


odnosno dalje: 


je: 


P(1) £0,33, P(2) 20,1, P(5) £ 0,022 


I.22, Elektronički uredjaj sastoji se od looo elemenata, Vjerojat- 
nost kvara jednog elementa u toku godine dana rada je 0,001 i ne 
zavisi o stanju drugih elemenata. Kolika je vjerojatnost da se pok- 
vare barem dva elementa u promatranom periodu, 


Rješenje: 


Neka je x broj elemenata koji se pokvare u toku godine 
dana rada, i on je kao slučajna veličina raspodjeljena po Poissono- 


vom zakonu jer je: 
ne» +; pe 


m=np=1o000.0,001 =1 


i zakon glasi: 


Nadalje je: 
(x&2)=1-P0) - P(1) 


P(0) = -š- ; Pa) = -ž- 


Px 22) =1--2- 20,264 


ZADACI: 


1.27. Na telefonsku centralu u vršcima opterećenja dolaze pozivi 
Sa frekvencijom 0,5 poziva/minutu, Naći vjerojatnost, da za vrije“ 
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he jedne minute dodje: 0,1,2,3 i 5 poziva, te za te vrijednosti 
grafički prikazati razdiobu vjerojatnosti. 
odg.: 0,606; 0,303; 0,0758; 0,0126; 0,00016) 


f,28. Eiektronički uredjaj sadrži 2000 jednako pouzdanih elemenata, 
za svakog od njih je vjerojatnost kvara ista i jednaka p=0,0005. 
Kolika je vjerojatnost kvara uredjaja, kao posljedica kvara makar 
lednog elementa, 

0dg.: 0,633) 


1.29, Vjerojatnost da u vremenu od jednog sata dodje poziv na ta - 
lefonsku centralu od bilo kojeg od 300 pretplatnika je 0,01, 
Kolika je vjerojatnost da u jednom satu dodje poziv od 4 pretplat- 


4 
P(4) = dia #9 a 0,17) 
4! 


M T.30, Radioaktivna tvar zrači u intervalu vremena $ = 7,5 sek 
H prosjeku 3.87 oĆ - čestica. Naći vjerojatnost da za 1 sek tvar 
asmitira barem jednu o - česticu. 


iloda,: 0,4 ) 
Vjerojatnost formiranja lažne kodne kombinacije 


U telekomunikacijama često dolaze problemi povezani sa 
djelovanjem slučajnih impulsnih smetnji. Prijenos signala ostvaru- 
je se pomoću impulsnih kodova, a da bi se čitav proces zaštitio od 
smetnji prijemnik se otvara samo u odredjenim intervalima , ka- 
da ge očekuju impulsi signala. 
fTetpostavimo da se u općem slučaju kod sastoji od F imvulsa i da 
e prijemnik otvara takodjer tačno P puta i ostaje otvoren E vre- 
lena, 
rediti vjerojatnost, da se formira lažna kodna kombinacija od 
Mpulsa smetnji, kada nije prisutan signal. 

djerojaknnst da jedan ili više impulsa aneks upadnu u 
interval $ jo 
BF s 


(x 21) =1-e (1.69.) 
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gdje je 4 "gustoća" impulsa smetnji u jedinici vremena. 
Vjerojatnost da se u svakom intervalu očekivanja pojavi barem je. 
dan impuis smetnji izlazi po teoremu množenja vjerojatnosti: 


A gp 
P, =|Px =) =(l1.-e ) «IT0:) 
U slučaju kada su smetnje rijetke i nI vrlo malo t.j. AT <<i1 
može se izraz napisati u obliku: 


r 
_=»o=(4.%7) (1.71.) 


I.2.2. Kontinuirane slučajne veličine 


Ranije smo za diskretnu slučajnu veličinu pokazali da 
ona poprima odredjenu vrijednost s odredjenom vjerojatnosti. Ta - 
kav način definiranja kontinuirane slučajne veličina je namoguć, 
Kontinuirana slučajna veličina u intervalu definicije može popri- 
miti beskonačno mnogo vrijednosti, koje su gusto poredana jedna do 
druga. Pa budući da ima beskonačno mogućih vrijednosti, a suma vje- 
rojatnosti svih mogućih vrijednosti slučajne veličine mora biti 
jednaka jedinici (potpuni skup dogadjaja), očito proizlazi da je 
vjerojatnost pojedine vrijednosti beskonačno mala, Drugim riječi- 
ma, vjerojatnost da kontinuirana slučajna veličina poprimi neku od- 
redjenu vrijednost, jednaka je nuli. Medjutim, može se razmatrati 
to, da kontinuirana slučajna veličina poprima vrijednosti iz jed - 
nog intervala češće nego iz nekog drugog. Za opisivanje vjerojat- 
nosnih svojstava kontinuirane slučajne veličine poslužit ćemo se 
funkcijama koje se definiraju na odredjen način, 


Funkcija gustoće vjerojatnosti 


Prije svega, kontinuirana slučajna veličina može popri- 
miti bilo koje značenje iz odredjenog intervala (a,b). Za svaki * 
iz tog intervala mora egzistirati granična vrijednost: 


f(x) = lim P(x_<X<x+_ Ox) (1.72. ) 
Ax—o ox 
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t.j. svakoj vrijednosti slučajne veličine x pridodana je funkcij- 
ska vrijednost f(x), koja se naziva funkcija gustoće vjerojatnosti 
sl, 1.25.) 

Funkcija gustoće ima slijedeća svojstva: 


1. fax) šo za x E(a,b) 
S 

2, f(x) dx =1 
a 





Sl. T-25 Funkcija gustoće vjerojatnosti 
2 
Za . f(x) dx = P(xj L£r< x») 


Punkcija razdiobe 


Kontinuirana slučajna veličina može se zadati 1 funkci- 
jom razdiobe (integralnim Zakonom razdiobe) F(x). 
Funkcija razdiobe slučajne veličine definira se kao: 
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t ' 
Fix) =Pla<&X x <t) = S f(x) dx (1.73.) 
a 


gdje je t proizvoljna vrijednost slučajne veličina x, a F(x) iz - 
ražava vjerojatnost da slučajna veličina bude manja od *t, 
Funkcija razdiobe ima svojstva: 


1. x) - Pa) = PG ErEx 
2, F(x,) EP(x,) ako je x, & x, 


X-e b 


4. lim F(x) = 0 


x=a 


PRIMJERI: 


1.23. Određditi tako koeficijent < a da funkcija 
f(x) = ax? e7i* (k>0; 0ZE x.) 


predstavlja funkciju gustoće vjerojatnosti slučajne varijable x. 
Naći funkciju raspodjele i izračunati vjerojatnost da x poprimi vri- 
jednost u intervalu ( 0, e ). ' 


Rješenje: 


K—-] 
S f(x) dx =1 - prvi uslov koji mora biti zadovoljen 
o 


co 
S ažeax 1 


o 





5 
si i, seneca > Karas E 
4 2 
S x? e7ši ax 
o 
to daje: 
k3 2 _-kx 


f(x) = -*-- x e 
2 


Funkcija distribucije: 


x 
2_2 
F(x) = S t(x) dx= 1 - ka tihi a-kz 
o 
Vjerojatnost : P(O Ex 4 -b) ž P(-Ž-) PE ge Pao 0,086 
k k 2e 


1.24. Funkcija gustoće vjerojatnosti slučajne veličine n izražavs 
se jednadžbom: 


f(n) 


LJ 
b=| 
a 


" 
o 
n 
e 
B 
IN 
o 


f(n) 


Po takvom zakonu raspodjeljena je amplituda nekog napona šuma, uze- 
ta kao slučajna veličina. 

Nacrtati graf te funkcije i izračunati najvjerojatniju vrijednost 
Varijable n (za koju je funkcija gustoće vjerojatnosti maksimalna). 


Rješenje: 


Najvjerojatnija vrijednost dobiva se iz uslova: 
i š 2 2 
f(n) ze - n“e = 0 





S(.T-24. Funkcije gustoće vjerojatnosti 


I.25. Naći funkciju razdiobe za funkciju gustoće vjerojatnosti u 
primjeru 1.24. i izračunati vjerojatnost da veličina n prijedje 
vrijednost n—I= 2, 


Rješenje: 

n n _ n? u 2 
F(n)= S zinan= S n.e 2 dn= 1-e ? 

o o 


vjerojatnost da n prijedje vrijednost Nn=I= 2: 
P(n >2)=F((2 Lance) = 


=F(+e0) - F(2) =1- F(2) s 0,135 










- 293 - 
Karakteristični parametri kontinuirane slučajne veličine 


Za opisivanje odredjenih svojstava kontinuirane slučajne 
sličine primjenjuju se odgovarajući karakteristični parametri, po 
nislu isti kao i za diskretne slučajne veličine, ali se njihovo 
zračunavanja provodi na drugačiji način. Razlika je u tome što se 
peracija sumiranja koja je bila primjenjena kod diskretnih slučaj- 
lih veličina, ovdje zamjenjuje operacijom integriranja. 
zednja vrijednost kontinuirane slučajne veličine, je velišina ko- 
a nije slučajna, a odredjuje se prema formuli: 
b La 
I= S x. f(x) dx (1.74.) 
a 


Jisperzija kontinuirane slučajne veličine je vrijednost definirana 


Brema izrazu: 
b 


G* = S (x - 2)% £(x) dx (1.75.) 
a 


Kvadratni korijen iz disperzije naziva se srednje kvađratičnim od- 
stupanjem (S. ' 


PRIMJER: 


1,26, Funkcija razdiobe slučajnog intervala vremana u kojem nas - 
župa kvar elektronskog uredjaja dana je u obliku: 


- -" 
Pt) =1-e a0 


Kolika je vjerojatnost da uredjaj radi pouzdano za vrijeme 177 
Naći funkciju gustoće vjerojatnosti i srednju vrijednost slučajne 
Varijable t. 
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Rješenje: 
Vjerojatnost da uredjaj radi pouzdano za vrijeme T: 


omjernom razdiobom dana 


PM) =1-F.M) =1- (1-67) £ 0,366 


f(x) = 
f(x) 


konst 


Funkcija gustoće vjerojatnosti: 


p= 
O 
- i 

1 


£(4) = -až- P(4) = ro dje je (x,Xo) interval 


Srednja vrijednosti: 





t t 
ma a X Vi ode 
t= S 5 .t.8 dt = -5 +(-T)e - T“e =1T 
O [0] 
ZADACI: 


1.31. Naći zi G slučajne veličine, koja ima funkciju gustoće 
vjerojatnosti: 


f(x) = -3- e-/x/ 


(Rez.: X=0; 6=) 
1.352. Ispitivani uredjaj sastoji se od pet elemenata, Vjerojatnost 


kvara x-tog elementa dana je relacijom: 

£(x) = 0,2+0,1(x-1) 
* Qdrediti ošekivanje i standardnu devijaciju slučajne veličine koja 
oznašuje broj elemenata, na kojima je nastao kvar, ako su kvarovi 
nezavisni, 


(Rez.:x=2% 


6 =1,1) F(x) = 0 


F(x) = 





(x-x1)P 
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Slučajna veličina s ravnomjernom razdiobom 


Funkcija gustoće vjerojatnosti slučajne veličine sa rav- 


jo jednadžbama: 


E x 


= 


ex, 


za *i> X >%& 


za *1 


(I,16,) 


definicije slučajne veličine (#1.1,25,8! 





51-25 ARovnomjemni zvkon razdiobe 


Ovršina pravokutnika mora biti jednaka jedinici. Funkcija regdio- 
e dana je relacijama (81.I.25.b) 


za x < X] 


zaxp E x<x, 
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F(x) =1 zax >x, (£,77.) Funkcija razdiobe ima oblik: 
kao primjer za kontinuiranu slučajnu veličinu s rsvnomjernom raz. Fx)=0 za x 40 
“iobtom, može naz poslužiti razlika u fazama + dvaju izvora sinu ie (1.79) 
roidalnih napona, koji se uključuju nezavisno. Kod takve pojave je PF(x) =1-e zax Šo 


sednako vjerojatan bilo koji iznos faznog pomaka u granicema 0 do 


2T Punkcije f(x) i k(x) grafički su prikazane na sl. 1.27. 


fd) 
š 


27 P 





S(.T-26 RunkCjI gustoće veroernosti razike 
foza 


b3 


= 
5. 1-27 Eksponencijalni zokon razdobe | 


Prema tome je funkcija gustoće vjerojatnosti (sl, 1.26.) unutar 
intervala 0-27 jednaka 


Na isti se način može izračunati vjerojatnost da interval izmedju 
dva susjedna impulsa u slučajnom slijedu impulsa (s1.I.28.) bude 
Jednak ili manji od neke vrijednosti €. 


Eksponencijalni zakon razdiobe vjerojatnosti 


Slučajna veličina raspodjeljena je po eksponencijalnom 
zakonu, ako se funkcija gustoće vjerojatnosti izražava jednadžbama: 


-Ax 


f(x) = A.e za x > 0 
(1.78.) 


Sl.7-28 Slučajni sljedi impulso 


f(x) = 0 zax ć0 


gdje je A konstantni parametar, a x = > je srednja vrijednost 
slučajne veličine, 
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Srednja vrijednost tog intervala ujedno je i parametar razdiobe, 
' Hayleigh-ev zakon razdiobe 


Rayleigh-ev (Relijev) zakon razdiobe izražava se funkci- 
jom gustoće vjerojatnosti slijedećeg oblika: 


NE 
5 
f(x) =x.e zax > 0 
(1.80,) 
f(x) = 0 zax £0 


Po tom zakonu raspodjeljene su ponekad vrijednosti am- 
plitude fluktuirajućih šumova u elektroničkim uredjajima. 
Srednja vrijednost slučajne varijable rasporedjene po Rayleigh-evom 


zakonu je: 


ža < (I1.81.) 
a disperzija: 
E" =a E (1,82.) 
2 


Na s1.1I.29. prikazane su funkcije f(x) i F(x) za Rayleigh-ev zakon 


razdiobe, 





St.T-29 Roylegh-ev zokon rozrlobe 
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Normalni ili Gaussov zakon razdiobe 


Normalni zakon razdiobe igra osobitu ulogu ne samo u 
elektrotehnici već i u drugim oblastima nauke, jer se po njemu 
vlada veliki broj razlišitih slušajnih veličine, U većini slučaje- 
va predpostavljamo da se razdioba trenutnih vrijednosti napona 
šuma vlada po normalnom zakonu, Osim toga normalni zakon rezdiobe 
široko se primjenjuje u teoriji prijema informacija u prisutnosti 
smetnji, na njemu se bazira teorija pogrešaka i t.d, Njegovo važ- 
no mjesto u teoriji vjerojatnosti odredjuje se i time, što pod 
izvjesnim uslovima ostali zakoni razdiobe prelaze u normalni, 

Normalni zakon razdiobe vjerojatnosti odredjuje se funk- 
cijom gustoće vjerojatnosti oblika: ' 


_ 


f(x)= ree zena e 26 (-%<x<+c) (I.85.) 


21 6 


gdje je x - srednja vrijednost slučajne veličine 


G%- disperzija 


Krivulja normalnog zakona razdiobe za srednju vrijednost x = 01 


a sa m nan . 2_ 2 ' 
x=x, za dvije različite vrijednosti disperzije 61i 6, pri- 
kazane su na sl. I.30.a. 





SL F-30 Normalni zakon razlobe vjerojatnosti 


- 300 + 
Sa slike se vidi da krivulje imaju zvonoliki oblik, simetričsn nu 
odnosu na srednju vrijednost, Najvjerojstnija vrijednost slušaj 
na veličine podudara se sa srednjom vrijednosti, kaksimum gustoće 
vjerojatnosti iznosi: 


216 


Što je veći 6 , krivulje su niže i šire (više spljoštene) s tim 
da površina ispod krivulje mora biti uvijek ista i jednaka jedini- 
ci. Ako je srednja vrijednost *= 0 tada funkcija gustoće vjero- 
jatnosti ima oblik: 
a 
u. (1.85.) 


: . i 
1 2 6 
F(x)= f(x) dx = ----5-- e dx (1.86.) 
5 216 3 
- og - oo 


Integral na desnoj strani nije elementaran, te se nailazi na po- 
teškoće sa njegovim izračunavanjem. 
z3ijutim uzevši u obzir simetriju funkcije i prikladnom supstitu- 


cijom: 
šžižuz dx= G az . (1.87.) 
G 

dolazi se do prikladnijeg izraza: 


P(x) = -5- [1 + Pe) = F(2) (1.88.) 


gdje je 





- 3Zol = 


P (2) + jE S e dz (1.89.) 
: o 


integral, koji takodjer nije elementaran, ali su njegovi iznosi 
dani u vidu tabele (PrilogllII.) 
Funkcije razdiobe grafički su prikazane na slici I,30.b, 

Pomoću funkcije razdiobe možemo lako naći vjerojatnost 
da slučajna veličina distribuirana po normalnom zakonu poprimi vri- 
jednost iz odredjenog intervala na pr. (a,b). 
Koristeći svojstva funkcije razdiobe izlazi: 


P(a&r Ch) = P(6) - F(a) 


Izračunsmo li F(a) i F(b) prema izrazu (1.88,) izvršivši odgova- 
rajuću zamjenu varijabli dobivamo: 


1 b-X -x 
P(a L£r< b)= | đ (s) - da) oi 
PRIMJERI: 


I.27. Odrediti vjerojatnost da trenutna vrijednost napona šuma, 
koji se vlada po normalnom zakonu razdiobe sa srednjom vrijednos- 
ti X = 0, prijedje vrijednost k.Q'_ gdje je k=1,3,4 i 5. 


Rješenje: 


Poslužimo li se izrazom (I.90.) stavivši x =0 b=% 
ia=kG, te tablicom dolazimo do rezultata: 


6 36 4G 


0,16 0,00153 5,2.10. 
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Očito je da će slučajna veličina respodjeljena po nor- 
malnom zakonu, najvjerojatnije poprimiti vrijednosti koje su u 
blizini X. Praktički se pokazuje da je vjerojatnost da veličina 
predje interval #236 vrlo mala i iznosi samo 0,00153. 


1.28. Pizički kanal s toplinskim šumom možemo često zamjeniti sli- 
ijadećim modelom: Dogadjeji na ulazu kanala su naponski impulsi tra- 
žanja I i amplitude x, Navnon na izlazu kanala mjeri se instrumen- 
tom, koji pokazuje srednju vrijednost napona za sveki vremenski in- 
terval T, koji odgovara impulsu na ulazu, Instrument pokazuje iz- 
lazni napon y=x+zZ, gdje je z amplituda šuma, koji ima Gaussovu ras- 
podjelu sa nultom srednjom vrijednosti i varijancom N 
p(z)= --2--- e u“ 
21 a 


Ulazni impulsi mogu biti pozitivnog i negativnog polariteta i imaju 
fiksnu amplitudu /x/e ls 

a) Naći funkciju vjerojatnosti da polaritet napona koji po- 
kazuje instrument bude razlišit od polariteta odgovarajućeg ulaznog 
impulsa, u zavisnosti od odnosa S/N, 


b) Pokazati da je lolim iz a) jednaka -7- - Žž: 
za SN &1i oh-a a za SN 1. 
2 TI s 
Rješenje: 


a) Proces se promatra u intervalu T te će funkcija gus- 
toće vjerojatnosti amplitude napona y imati oblik: 


4. [m. AA? 


piy)= —-ž-e ? . =. ? u 


[zva (ri 


Traženi slučaj može nastupiti na dva isključiva načina: y je Lo 





- 303 = 
ko jex >01iy > 0ako ja x £0. Još je potrebno predpostavi- 
1 da su pojave pozitivnih i negativnih impulsa jednako vjerojatne, 


irema tome je tražena vjerojatnost 


p=P(x > 0).P(yg £ 0)+P(x &0) F(y >0)= 


o _ 1 (2 Ah? oo 1 iz4/z/)? 
1 2 N 2 N 

=9,5. --=--- 0 dz+0,5 S ---:--e dz= 

[2Ta : [2Tu 

- oo o 
/x/ dk, E. 
2 N 
=ob1|1- 5 pm e dz | = 
21 N 
-/x/ 


" 
o 
“ 
u 
H 
| 
- 
o 
na 
m 
a 
os] 


z=\n u z= Vsju= -š- 
dz= (xa u : 


2 
=0,5|1- ob e dUu| ==> - zako S e du 
2 If \2T7 


- 504 = - 5305 - 


jednosti jednakoj nominalnoj i srednjim kvadratnim odstupanjem 


b) Iz gornjeg izraza proizlazi da je za slučaj SAN <&1 
integral približno jednak : hf te vjerojatnost iznosi: 50 PP. 


(odg.: 
A - 15,854 ; B- 52,428 3; 0 -31,73% ) 


kej 
u. 
ni 





2 za 2,u3> 1 može se uzeti da je površina predstavljena integralom: 





20 l 112 
MA Šu 
m S e du= -=5-- 6 
(27 \2T 
ZADACI: 


1.33, odstupanje vrijednosti otpora od nominalnog značenja vlada 
ze Do normalnom zakonu razdiobe sa srednjom vrijednosti lo kf1 
*o3ja je i nominalna. Srednje kvadratično odstupanje je 200 A. 
Odrediti vjerojatnost, da se slučajno uzet otpornik, razlikuje po 
svojoj vrijednosti od nominalne za više od 5%. 

fodg.+ 9,0124) 


I.34. Kondenzatori sa nominalnom vrijednosti kabasitešu | O= 1000 PpF 
kod sortiranja se stavljaju u tri kategorije: 


A - s odstupanjem od nominalne vrijednosti koja nije veća 
od 1% ' 
B- s odstupanjem od 1 do 5% 
G - s odstupanjem većim od 5% 
Odrediti koliki procent kondenzatora u masovnoj proizvodnji ulazi u 
kategorije A Bi C, ako je poznato da se odstupanja kapaciteta od 
inelne vrijednosti vladaju po normalnom zakonu sa srednjom vri“ 
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